DuplexTune: Переплаздывание в паре государств для адаптации памяти - эффективной смеси экспертов
arXiv: 2610.36009v1 Вид уведомления: новое резюме: исполнение "Спарсе эксперт" не устраняет хранящиеся состояния, необходимые для адаптации языковой модели смеси экспертов. Мы представляем DuplexTune, рамки для повторного использования скрытых государств через заранее подготовленные модули внимания и экспертов. Образуемые мосты по ширине соединяют два остаточных потока с позвоночником. Разогревание моста предшествует адаптации позвоночника, при этом вес роутера остается замороженным. Мы анализируем имплицитное уравнение восстановления государства и выявляем конвергенцию и переиграем условия, необходимые для реконструкции. На Qwen1.5-MOE-A2.7B в отчете об оценке с одним H800 содержится 38,8 ГБ пиковой памяти по сравнению с 64,8 ГБ за контролируемую отладку контрольно-пропускных пунктов и пропускной способностью 25,1 против 19,9 пробы/проб. Дюплекстун достигает 67,2% ММЛУ, 75,6% ГСМ8К и 7.69 МТ-Бенч с более слабым многоязычным баллом по сравнению с контрольным базовым показателем. Полученные результаты характеризуют зависимость от конфигурации между государственным хранением, пропускной способностью и качеством адаптации.
