Увязка изменений и показателей: ранжирование моделей зрения-лангуажа с помощью кусков, которым они доверяют

arXiv: 261 020.22610v1 Annuate Type: New Humber: Vision-Language Models (VLM) обычно выбираются из ведущих досок, которые дают по одному рейтингу для каждого приложения. Однако, что касается вопросов об объектах, то сцена предполагает, но не содержит их, модель с наименьшей погрешностью на контрольном параметре POPE - это не та модель с самой низкой ошибкой в таких вопросах. В случае да/нет вопросов о присутствии объекта мы показываем, что наилучшая модель для целевого домена может быть предсказана без запуска любого кандидата в этом доме с учетом 650-1200 обозначенных целевых элементов, которые калибруют детектор. Мы измеряем опору каждой модели на сигнал, такую как контекст сцены или текст в образе, редактируя 100 заклейменных исходных изображений таким образом, что этот сигнал предлагает неправильный ответ и сопоставляет с соответствующим контрольным редактированием. Согласно прогнозу, VLM вводятся в заблуждение физическими наклейками (Spearman .93 на девяти моделях, не использовавшихся для разработки счёта) и какие галлюцинации на неотредактированных фотографиях COCO выходят за рамки t