Компьютерные науки > Расчеты и язык [представлен 13 октября 2026 года] Название: CAFE: Конфискация дистилляции на языке-руководителях для компактного многоязыкового автоматического распознавания речи PDF HTML (экспериментальное) резюме: Ожидается, что в перегонки logit будет добавлено. Мы считаем, что такое ожидание не выдерживает двух общих потерь характеристик в компактном многоязычном автоматическом распознавании речи (АСР), и анализируем причину этого с помощью их градиента. Проекционные потери имеют ортогональный характер по отношению к градиенту задач, в то время как централизованные яркие соединения (CKA), основанные на сходствах, слабо увязаны с ними. CKA снижает частоту ошибок в словах (WER) на неанглийских языках, но за счет богатого данными английского языка. Три средства защиты на уровне потерь (один обученный, два исследованных) не хватает, и градиент CKA пересекается с подпространственным английским в общем заголовке на 97,5%-99,5% (около 81% по случайности). Исходя из этого диагноза, мы предлагаем CAFE (Confied-Adapter Feature Distillation), который ограничивает градиент CKA адаптаторами, которые обходят английский, решая вопрос о компромиссе в параметрах, а не в потерях. На Открытой ASR Leadboard CAFE снижает средний WER с 8,55% до 8,02%, превзошёл адаптационный контроль пропускной способности на 8,51% и делает английский язык более стабильным через контрольно-пропускные пункты. При 254M параметрах она ведет учительницу 0,6B на 2 пункта WER и соревнуется с…
CAFE: Переключение дистилляции на языковые адапторы для компактного распознавания многоязыковой речи
arXiv:2610.19134v1 Аннонс Тип: новое резюме: Ожидается, что перегонка объектов будет дополнять дистилляцию логитов. Мы считаем, что такое ожидание не выдерживает двух общих потерь характеристик в компактном многоязычном автоматическом распознавании речи (АСР), и анализируем причину этого с помощью их градиента. Проекционные потери имеют ортогональный характер по отношению к градиенту задач, в то время как централизованные яркие соединения (CKA), основанные на сходствах, слабо увязаны с ними. CKA снижает частоту ошибок в словах (WER) на неанглийских языках, но за счет богатого данными английского языка. Три средства защиты на уровне потерь (один обученный, два исследованных) не хватает, и градиент CKA пересекается с подпространственным английским в общем заголовке на 97,5%-99,5% (около 81% по случайности). Исходя из этого диагноза, мы предлагаем CAFE (Confied-Adapter Feature Distillation), который ограничивает градиент CKA адаптаторами, которые обходят английский, решая вопрос о компромиссе в параметрах, а не в потерях. На открытом ASR L