Может ли ИИ рассуждать с помощью рисунка? Контрольный параметр для построения математических рисунков

arXiv: 2610.12954v1 Annuales Type: New Humber Brieflow: В настоящем документе представлен MatVis — эталонный показатель, предназначенный для оценки способности МЛМ визуализировать математические проблемы границ и выполнять аргументацию с помощью диаграммы. Контрольный показатель включает 512 задач, каждая из которых состоит из математического описания, справочной диаграммы, исполнительного кода TikZ или SVG, промежуточного представления золота (IR), атомных рубрик и кодов ошибок. Благодаря тщательной оценке ГПТ-6-Астра, Клод Фэйбл 5 и Гемини 3.1 Прообследование достигают результатов в 31,25%, 26,56% и 22,85% соответственно. Мы обнаружили, что, хотя задачи требуют визуализации, МЛМ выпускают материалы с использованием официальных языков, символов и графических программ, а не эксплицитных рассуждений. Кроме того, хотя решения, разрабатываемые МЛМ, могут содержать все необходимые элементы, они часто визуально сбивают людей с толку. В конечном счете этот контрольный показатель направлен на визуализацию математических проблем и поощрение исследований, направленных на обеспечение возможности для МЛМ