PixFoundation 2.0: Используют ли видео мульти-модальные LMS движение в визуальной земле?

arXiv: 25009,02807v2 Annuales Type: заменить резюме: мультимодальные крупные языковые модели (MLMs) продемонстрировали впечатляющее обобщение задач с использованием изображений и текстовых форм. В то время как их распространение на видео позволило выполнить такие задачи, как ответы на вопросы видео и заголовки видеоматериалов, их визуальные способности к заземлению уровня пикселя меньше изучаются. В этой работе мы поднимаем актуальный вопрос о том, используется ли движение при визуальном заземлении на уровне пикселя и может ли видео MLLM сегментировать объекты на основе натуральных выражений языка, описывающих их модели движения. Мы выявляем недостатки в нынешних контрольных показателях, где мы показываем, что зачастую одного механизма может быть достаточно для отражения ссылки на выражение без каких-либо временных рассуждений. Для решения этой проблемы мы введем новые исследования, ориентированные на движение, специально разработанные для задачи визуального заземления, чтобы изучить способность видео MLLMS распознавать истинное движение от фальшивого и их способности понять порядок движения. Как следствие, мы вступаем