ГОЛОГИЧЕСКАЯ БЕНКА: Оценка логического обоснования в рамках МЛМ
arXiv: 2606.23238v3 Вид уведомления: заменить резюме: существующие логически обоснованные контрольные показатели ЛУЗР в основном сосредоточены на объектно-ориентированных выводах по фиксированным основным положениям и правилам, оставляя более высокие порядковые аргументы относительно правил и политики недоисследованными. Мы представляем HOLogicBench, 1 379-валютный эталонный показатель, который систематически оценивает пять репрезентативных операций с более высоким порядком рассуждения при формализации Изабель/Холь и проверке ответов. Помимо точности ответов, HOLogicBench предлагает для каждого случая проверенные справочные рассуждения, что дает возможность точно просчитать аргументацию модели в сравнении с действительными производными. В 16 конфигурациях моделей средняя точность составляет 53,86/%, при этом наилучшая конфигурация достигает 65,99/%. Дальнейшие анализы показывают, что МЛМ имеют ограниченную согласованность с действительными производными, остаются уязвимыми для минимальных контрфактических возмущений и демонстрируют явные схемы отказа в рамках различных типов рассуждений более высокого порядка.
