Межмодальные действия внимания как фильтр частоты: почему переоформление быстрых сигналов повышает устойчивость моделей зрения и языка

#Межмодальные #Annuate #Type #Humber #Vision-Language

arXiv:2609.20139v1 Annuate Type: New Humber: Vision-Language Models (VLM) хрупки под влиянием коррупции. Мы считаем, что формулировка этого вопроса затрагивает НДЖ двумя противоположными способами. Вертикальные вопросы делают VLM значительно более прочными - например, перефразируя "Есть ли кот?" в "Пожалуйста, посмотрите внимательно и ответьте: есть ли кошка?". И наоборот, НОЖ становятся более хрупкими под коррупцией, когда вопрос семантически сложный или более мелкозернистый, например: "Какого цвета у кресла остался чашка?" вместо "вместо стакана есть ли?". Оба эффекта связаны с вниманием, уделяемым различным видам транспорта при условии наличия вопросов, что вызывает спектральный фильтр над полосами изображения: вопросы глаголовы расширяют его частотную поддержку, в то время как тонкозернистые вопросы концентрируются на меньшем количестве визуальных шкал. Ответ модели больше всего дрейфует, когда этот фильтр и коррупция находятся на тех же пространственных частотах. Мы проверяем обзор фильтра на Qwen3-VL и LAVA-OneVision через GQA и CLEVR; глаголсная парафия уменьшает дисперсию дрейфа

Компьютерные науки > Компютерное видение и распознавание шаблонов [представлено 17 сентября 2026 года] Название: Cross-Modal Reference Actions как фильтр частотности: Почему версий Supports Улучшает упругость моделей зрения - Language View PDF HTML (экспериментальное) резюме: модели Vision-langion (VLM) являются хрупкими под влиянием коррупции изображения. Мы считаем, что формулировка этого вопроса затрагивает НДЖ двумя противоположными способами. Вертикальные вопросы делают VLM значительно более прочными - например, перефразируя "Есть ли кот?" в "Пожалуйста, посмотрите внимательно и ответьте: есть ли кошка?". И наоборот, НОЖ становятся более хрупкими под коррупцией, когда вопрос семантически сложный или более мелкозернистый, например: "Какого цвета у кресла остался чашка?" вместо "вместо стакана есть ли?". Оба эффекта связаны с вниманием, уделяемым различным видам транспорта при условии наличия вопросов, что вызывает спектральный фильтр над полосами изображения: вопросы глаголовы расширяют его частотную поддержку, в то время как тонкозернистые вопросы концентрируются на меньшем количестве визуальных шкал. Ответ модели больше всего дрейфует, когда этот фильтр и коррупция находятся на тех же пространственных частотах. Мы проверяем обзор фильтра на Qwen3-VL и LAVA-OneVision через GQA и CLEVR; глаголсная парафия уменьшает дисперсию дрейфа на 70-81% по 8B моделям. Практический рецепт - быстро-ускорить - приносит ощутимые выгоды в точности, даже под влиянием коррупции. История…