Может ли МЛМ неправильная студенческая рассудка? Тематическое исследование по вопросам поколения распределительных агентов

arXiv: 2603.15547v2 Annuates Type: заменить резюме: реалистичное моделирование заблуждений учащихся имеет решающее значение для ИИ в сфере образования. В этой работе мы изучаем вопрос о том, как крупные языковые модели (ММЛ) объясняют ошибочные представления при подготовке ответов на вопросы с множественным выбором (МКК), что требует получения неверных и в то же время правдоподобных ответов. Мы введем таксономию по поводу стратегий рассуждения для поколения отвлечения, которая основана на научно-исследовательской литературе и эмпирических наблюдениях, которые мы применяем к логическим следам LLM в математике и науке MCQ. Что касается набора математических данных, то мы видим, что модели следуют процессу неправильного понимания с потенциально высокой диагностической ценностью: они восстанавливают правильное решение, формулируют ошибки учащихся, имитация их и отбирают вероятных кандидатов. С другой стороны, в научном наборе данных они склонны придерживаться менее жесткого подхода на основе семантичного сходства с правильным ответом. Мы находим самого частого неудачника.