Может ли МЛМ рассказывать истории не по порядку? Корпус и контрольный параметр для нелинейного повествования

arXiv: 261 020.21468v 1 Annuales Type: кросс-бюллетень. Каждая история имеет два приказа: порядок, в котором происходят ее события и порядок их изложения. История нелинейна, когда они отличаются. Мы введем эталонный показатель из 83 опубликованных работ, позволяющий определить, могут ли языковые модели рассказывать нелинейные истории. Для каждой работы мы приводим один список событий в обоих приказах, вместе с графом причинно-следственной зависимости, знаний персонажей и вопросов, которые поднимаются и решаются. Учитывая события в хронологическом порядке, все 19 моделей говорят им в среднем более хронологически, чем опубликованные работы; просили о конкретной структуре, они приземляются в пределах человеческой дальности примерно половину времени. Затем мы сравниваем рассказы модели об одних и тех же событиях в разных условиях, используя одновременно автоматизированного судью и 71 человека. Оба предпочитают хронологическую историю, которую модель пишет по умолчанию, нелинейной, которая она пишет по запросу, которой читатели труднее следовать в 81% решающего jud