CapGeo-Bench: Отмежевание визуального восприятия от разума и оценки геометрического понимания

arXiv: 2510,09302v2 Annuate Type: заменить резюме: в то время как мультимодальные модели большого языка (MLMs) добились замечательных успехов при выполнении сложных чисто текстовых математических задач, даже передовые модели с закрытыми источниками, такие как GPT-O3, попрежнему сталкиваются с геометрическими проблемами. Это расхождение побуждает нас исследовать коренную причину: является ли узкий пункт мультимодальных геометрических рассуждений основан на самой аргументации или же в восприятии геометрической информации, содержащейся на диаграммах? Чтобы ответить на этот вопрос, мы проводим исследовательский эксперимент и обнаруживаем, что предоставление высококачественных субтитров последовательно и существенно повышает эффективность MLLMS, эмпирически подтверждая узость визуального восприятия в геометрической аргументации. Вместе с тем возможности MLLMS в области визуального геометрического восприятия по-прежнему недостаточно оцениваются. Для восполнения этого пробела мы предлагаем CapGeo-Bench - базовый показатель в 4641 высококачественную чартовую пару, оснащенную тонким показателем оценки на основе ключевых точек. В частности, Cap