Совмещенные модели языка речи
arXiv:2606.22473v2 Annuales Type: заменить резюме: модели языка речи (SLM) все чаще комбинируют речь и текст, часто за счет переплетения их символов в рамках одной последовательности. Однако, как эти два способа взаимодействия в скрытом пространстве модели остаются неясными. В рамках этой работы мы анализируем взаимосвязанные речи - текст LMS из различных типовых семей и тренировочную конфигурацию с использованием трех дополнительных методов. Мы обнаруживаем, что эти модели проходят через неявную стадию скрытой транскрипции, в которой символ текста, соответствующий сказанному слову, становится декодифицированным промежуточным слоями, несмотря на то, что его не обучают распознаванию речи. Это явление встречается в различных, естественных речах и промежуточных представлениях также кодирует вероятные текстовые продолжения. Мы далее показываем, что имплицитная транскрипция возникает больше всего в сочетании с предподготовкой и переплетением текстов-LM и что ее широкое распространение позитивно связано с выраженным поиском фактических знаний. Наш анализ проливает свет на