PixFoundation: Мы направляемся в правильном направлении с моделями фонда Vision на уровне Pixel?

arXiv:2502.04192v5 Annualce Type: заменить резюме: появились многочисленные работы, чтобы протолкнуть границы многовидовых больших языковых моделей (MLMs) к пониманию уровня пикселя. Нынешняя тенденция заключается в том, чтобы обучать ММЛМ с помощью системы контроля уровня пикселя на основе масок на данных большого масштаба и специализированных декодаторов для выполнения задачи сегментации. Вместе с тем мы показываем, что такие ММЛМ при оценке недавних сложных целевых показателей в области зрения свидетельствуют о слабой способности визуального ответа на вопросы (ОВК). Удивительно, но некоторые из этих методов даже понизили способность MLLMS к заземлению, которые так и не были обучены такому надзору на уровне пикселя. В этой работе мы предлагаем два новых сложных контрольных показателя с парной оценкой как для VQA, так и для наземного производства. Мы демонстрируем, что простые исходные условия, которые не являются едиными, достигают результатов, соответствующих или превышающих некоторые из MLMS уровня пикселя. Наши парные контрольные показатели и оценка позволяют провести дополнительный анализ того, является ли неудача результатом VQA