Компьютерные науки > Расчеты и язык [представлен 16 октября 2026 года] Название: Бесплатная коммодальная LMMS Учитесь имплицитным кодерам Вид PDF HTML (экспериментальный) Резюме: Мы эмпирическим образом анализируем два недавно предложенных без использования энкодера мультимодальных МЛМ, Gemma-4 12B и Inkling-Mall. В отличие от ранее применявшихся мультимодальных МЛМ, эти модели не используют специальные кодеры для извлечения символизированных встроенных устройств, представляющих собой аудио- и видеоввод; вместо этого они непосредственно подают окна образцов, пикселей или спектральных характеристик на трансформаторную языковую модель. Мы анализируем, научятся ли ранние слои этих моделей работать так же, как и специальные аудио- и визуальные кодеры. Мы считаем, что эти ранние слои фактически действуют как "имплицитные кодеры", кодирующие аудио- и визуальный ввод таким образом, который в значительной степени не зависит от их интермодального контекста. Кроме того, при выполнении задач по мультимодальным рассуждениям мы показываем, что независимое кодирование условий на всех этих ранних этапах модели обеспечивает такую же точность, как и совместное кодирование их с первого слоя. И наконец, мы используем слоевую проверку для анализа важной информации, полученной имплицитными кодерами, и считаем их поведение похожим на несколько популярных моделей энкодеров. Дополнительные особенности контекст просмотра: cs.CL ссылки и цитаты загрузка... Библиографический и…
Бескодерные мультимодальные МЛМ Учитесь имплицитным кодерам
arXiv: 261.20.24239v1 Аннот-Тип: новое резюме: Мы эмпирически анализируем два недавно предложенных смешанных МЛМ, не связанных с кондоминиумами, Gemma-4 12B и Inkling-Mall. В отличие от ранее применявшихся мультимодальных МЛМ, эти модели не используют специальные кодеры для извлечения символизированных встроенных устройств, представляющих собой аудио- и видеоввод; вместо этого они непосредственно подают окна образцов, пикселей или спектральных характеристик на трансформаторную языковую модель. Мы анализируем, научятся ли ранние слои этих моделей работать так же, как и специальные аудио- и визуальные кодеры. Мы считаем, что эти ранние слои фактически действуют как "имплицитные кодеры", кодирующие аудио- и визуальный ввод таким образом, который в значительной степени не зависит от их интермодального контекста. Кроме того, при выполнении задач по мультимодальным рассуждениям мы показываем, что независимое кодирование условий на всех этих ранних этапах модели обеспечивает такую же точность, как и совместное кодирование их с первого слоя. Наконец, мы используем слоевую пробу для анализа важной информации.