ПРИСМ-БЕНХ: Диагностика наземной и верной мультимодальной аргументации, выходящей за рамки точности окончательного ответа

arXiv: 261 030.36554v1 Annuales Type: New Briew: Finanly- response first recurity сообщает, была ли правая модель языка зрения, но не то, был ли ее ответ основан на образе, отражает ли изложенное в нем обоснование эти доказательства или какова стоимость ответа. Это свойства, которые определяют возможность развертывания системы. Мы представляем PRISM-BENCH, ориентир из 1000 сканированных экспертами вопросов по пяти недопредставленным категориям аргументов, в которых каждый пункт содержит идеализированную аргументацию, написанную одним человеком-аннулатором и подтвержденную другим. Следы подтверждают две диагностики, которые не могут обеспечить точность. Проверочный зонд, в котором модель отвечает на описание, которое она сама написала, приписывает примерно 85% ошибок пограничных моделей неправильному восприятию и ставит узкие места при заземлении. Трековое согласование предсказывает правильность ответа для всех 25 испытанных систем (Macro AUROC 0.66) и выживает после контроля длины, так что он измеряет содержание аргументации, а не глаголоситность. Мы