Неизученные недостатки в системе VQA с множественным выбором делают контрольный параметр ненадежным

arXiv: 2511.22341v2 Annuales Type: заменить резюме: в предыдущих работах чувствительность к порядку опционов определяется как ключевой вопрос при оценке с использованием нескольких вариантов VQA (MC-VQA) и предлагаются протоколы для смягчения этого эффекта. Мы показываем, что такого смягчения недостаточно для того, чтобы обеспечить обоснованность MC-VQA в качестве надежного контрольного показателя мультимодальной модели большого языка (MLM): эффективность работы остается весьма чувствительной к семантически нейтральным оперативным вариантам выбора формата, которые не контролируются нынешними контрольными показателями. В крупномасштабном исследовании, охватывающем семь ММЛМ и пять наборов данных МК-ВQA, мы обнаруживаем частые изменения в рейтингах даже при оценке по порядку. Эти изменения возникают в тех случаях, когда мы систематически изменяем наборы опционов, дефиниторы и сепараторы и получаем 48 семантически эквивалентных форматов. Механистические анализы позволяют отследить эту нестабильность до низкоуровневого эффекта моделирования языка: слияние или удаление символов опционного идентификатора приводит к искажению идентификационных знаков в последовательности ввода, а выбор выбора