Инерция: МГМ продолжают думать о том, когда они говорят не говорить
arXiv: 2610.11765v1 Annuales Type: New Humber Abstract: Major Language Models (LMS) все чаще отправляется на суда с четко выраженными "мозговыми режимами", однако их коллеге, "не думающим" уделяется гораздо меньше внимания. Мы изучаем бездумное поведение МЛМ по двум осям. Как измерять бездумность? Предыдущая работа, как правило, определяет отсутствие мышления через прокси, например в случае недееспособного образа мышления или отсутствия длинных следов. Эти догадки ненадежны: недееспособный образ мышления все еще может излучать рассуждения, в то время как длинные следы могут содержать наполнителя, а не настоящие выводы. Вместо этого мы нормализуем каждый ответ в качестве предварительного и окончательного ответа и оцениваем его на трех уровнях: i) скорость пустых мыслей для строгого соблюдения только ответов; ii) значение вопросов-предыдущих ответов с точки зрения сходства между вопросом и ответами до получения ответов; iii) коэффициент явных выводов по итогам оценки LLM как судьи. В совокупности эти метрики проводят различие между выходом только ответа, значимым, но не опосредованным текстом,
