M$3 млн. долл. США в год: единый контрольный показатель для понимания мультимодальных метафор с помощью доказательств
arXiv: 2608.05817v2 Annuales Type: заменить резюме: мультимодальное метафорное понимание требует идентификации междоменных карт целевых источников и вычисления настроений из визуальных и текстовых доказательств. Вместе с тем существующие контрольные показатели в значительной степени оценивают эти подзадачи по отдельности и не содержат обоснованных объяснений, что ограничивает их способность оценивать последовательные межвидовые рассуждения. Для того чтобы можно было проводить унифицированную и основанную на фактических данных оценку, мы представляем M$3 млн.R-Bench - эталонный показатель из 1000 аннотированных человеком образов-текста с совместными знаками для метафоры, картографирования целевых источников и настроения наряду со стадийными объяснениями для идентификации доказательств, составления карт и вывода ощущений. Оценки показывают, что существующие модели часто опираются на текстовые сокращения и составляют карты целевых источников, не совместимые с визуальными данными. Для устранения этого несоответствия в представлении доказательств мы предлагаем M$3 млн.R-Reasoner, который сочетает основанное на учебных программах руководство аргументацией с постановкой задачи