Языковые модели не способны отследить перечитывание текста человеком: вероятностный показатель провалил тест на синтаксический анализ

Масштабное исследование с участием 368 читателей и 409 нейросетевых оценок показало, что генерация следующего токена не отражает работу мозга при исправлении ошибок в сложных предложениях Учёные из Нью-Йоркского университета (New York University) и Университета Массачусетса в Амхерсте (University of Massachusetts Amherst) установили, что популярная метрика вероятности следующего токена в языковых нейросетях не способна отразить то, как человеческий мозг справляется с ошибками понимания при чтении. В исследовании, опубликованном в журнале Национальной академии наук США (Proceedings of the National Academy of Sciences, PNAS), сравнили движения глаз 368 взрослых читателей с 409 оценками вероятности слов, полученными от различных языковых моделей. Эксперимент показал, что простой принцип предсказания следующего слова описывает только первичное беглое чтение, но полностью упускает процессы синтаксического переанализа и возвратные движения глаз, которые совершает человек при столкновении со