Компьютерная наука > Расчет и язык [представлен 31 декабря 2025 (v1), последний пересмотренный 26 октября 2026 года (эта версия, v2)) Название: AzeroS: Распространение LLM на речь с самозащитной инструкцией - Свободный Tuning View PDF HTML (экспериментальный) резюме. Типичный подход соединяет предварительно обученный LLM с аудиокодером через модуль проекции и обучает полученную модель крупномасштабным, ориентированным на конкретные задачи наборам данных для инструктажа. Вместе с тем получение таких данных, касающихся корректировки инструкций по конкретным требованиям, занимает много времени, и модели, подготовленные таким образом, часто плохо обобщают невидимые задачи. В ходе этой работы мы впервые сформулируем, что наиболее широкое обобщение языка-LLM достигается при его подготовке на основе самозащитной инструкции - без завязки (SIFT), в которой сигналы наблюдения генерируются замороженным LLM с использованием текстовых представлений речи как вводимой информации. Предлагаемая нами парадигма SIFT устраняет необходимость сбора конкретных ответов на вопросы и дает теоретическое лучшее обобщение невидимых задач. Основываясь на этой парадигме, мы представляем AZeros (Auden Zero-Instrution-LLM), которая обучена парам речевых текстов из общедоступной корпорации, включая примерно 25 000 часов речи с SR стенограммами и 3000 часов выступлений с паралингуистическими ярлыками. Построенная на Qwen2,5-7B-инструкции, модель обновляет только два легких модуля проекции (23,8 млн параметров…
AneroS: распространение LLM на речь с самоуважением без указания
arXiv:2601.06086v2 Тип анонсации: заменить резюме: распространение крупных языковых моделей (LMS) на область речи в последнее время получило значительное внимание. Типичный подход соединяет предварительно обученный LLM с аудиокодером через модуль проекции и обучает полученную модель крупномасштабным, ориентированным на конкретные задачи наборам данных для инструктажа. Вместе с тем получение таких данных, касающихся корректировки инструкций по конкретным требованиям, занимает много времени, и модели, подготовленные таким образом, часто плохо обобщают невидимые задачи. В ходе этой работы мы впервые сформулируем, что наиболее широкое обобщение языка-LLM достигается при его подготовке на основе самозащитной инструкции - без завязки (SIFT), в которой сигналы наблюдения генерируются замороженным LLM с использованием текстовых представлений речи как вводимой информации. Предлагаемая нами парадигма SIFT устраняет необходимость сбора конкретных ответов на вопросы и дает теоретическое лучшее обобщение невидимых задач. Основываясь на этой парадигме, мы представляем AZeros (Aude)