TTS-Q: Количественная оценка после обучения трансформаторов

arXiv: 2610.12474v1 Аннонс Тип: кросс-бюллетень: TTS может клонировать голос из секунд звука. Тем не менее, качество этих данных зависит от миллиардных трансформаторов для диффузии параметров, размер и многоэтапный отбор которых делают их недоступными для прикладных программ с помощью устройств, ассистирующих средств и в режиме реального времени, которые больше всего в них нуждаются. После прохождения профессиональной подготовки квантизация (ПКТ) сокращает такие модели без переподготовки, но она была построена для языка и зрения, а не речи. В 4 бита сильный квантизатор оставляет неразборчивость почти до полной точности, но последовательно разрушает громкоговоритель Тимбр, поэтому скорость ошибок остается низкой в то время как голос отходит от зрителя. Мы задаемся вопросом, почему квантизация вредит речи, где она выживает и можно ли ее исправить без переподготовки. Чтобы выяснить это, мы проводим первое 4-битное исследование веса и активации (W4A4) PTQ трансформатора для диффузии TTS на 1B и 3,5B. Стоимость тимбре зависит как от веса, так и от активации, но только в части активации есть время.