Компьютерная наука > Расчет и язык [представлен 20 мая 2026 (v1), последний пересмотренный вариант 8 октября 2026 года (эта версия, v2)) Название: TokenSwap: Matrialing and Smalling the Modality Group in MultildM LMs View PDF HTML (экспериментальный) резюме: модели мультимодальных крупных языков (MLM) должны демонстрировать межмодиальную согласованность, генерируя последовательные ответы при условии семантически эквивалентных входных данных по различным условиям. Вместе с тем мы наблюдаем систематическое расхождение в прогнозах моделей при таких межрезонансных колебаниях. В частности, в качестве разницы в эффективности модели мы называем разрыв между значениями, эквивалентными текстуальным и мультимодальным вводимым ресурсам. Мы представляем TokenSwap, метод, который создает такие входные элементы путем замены текстовых концепций семантически привязанными изображениями, что приводит к последовательности, когда визуальные символы соединяются с текстовыми жетонами. На основе TokenSwap мы преобразуем существующие текстовые контрольные показатели (например, MMLU) в взаимозаменяемые друг с другом образы, что приведет к созданию TOKENSwap-Banch. В рамках 42 ММЗЛ наблюдается повсеместный разрыв в режиме, при котором показатели снижаются на 4,2% - 47,4% при переходе от только текстовых данных к вводным данным с завязанным изображением, что составляет в среднем 19,6% +/- 3,3% по всем моделям. В частности, в логических моделях наблюдается постоянное сокращение пробелов: средний разрыв…
TokenSwap: Контроль и сокращение разрыва в модальности в смешанных МЛМ
arXiv:2607.28640v2 Тип уведомления: заменить резюме: модели смешанных крупных языков (MLM) должны обеспечивать согласованность между различными видами транспорта, генерируя последовательные ответы с учетом семантически эквивалентных вводимых данных по различным условиям. Вместе с тем мы наблюдаем систематическое расхождение в прогнозах моделей при таких межрезонансных колебаниях. В частности, в качестве разницы в эффективности модели мы называем разрыв между значениями, эквивалентными текстуальным и мультимодальным вводимым ресурсам. Мы представляем TokenSwap, метод, который создает такие входные элементы путем замены текстовых концепций семантически привязанными изображениями, что приводит к последовательности, когда визуальные символы соединяются с текстовыми жетонами. На основе TokenSwap мы преобразуем существующие текстовые контрольные показатели (например, MMLU) в взаимозаменяемые друг с другом образы, что приведет к созданию TOKENSwap-Banch. В рамках 42 ММЗК наблюдается повсеместное несоответствие в режиме, при котором показатели снижаются на 4,2% - 47,4% при переходе от только текстовых к интерплицитным вводимым данным, что составляет в среднем 19,6% +/- 3,3% по всему режиму