На пути к реальному поведению человека: установление критериев моделей большого языка на длинных горзонах, кросс-сценарий и гетерогенных следов поведения

arXiv: 2604.08362v3 Тип уведомления: заменить резюме: появление моделей большого языка (МЖЛ) освещало возможность имитационного моделирования для пользователей общего назначения. Вместе с тем существующие контрольные показатели по-прежнему ограничиваются отдельными сценариями, узкими пространствами для действий или синтетическими данными и не отражают целостного характера подлинного поведения человека. Для того чтобы преодолеть этот пробел, мы представляем OmniBehavior — первый прогнозный имитационный эталонный параметр для пользователей, построенный исключительно на основе реальных данных, интегрирующих длинные горзоны, перекрестные сценарии и разнородные модели поведения в единую систему. Исходя из этого контрольного показателя, мы прежде всего представляем эмпирические данные о том, что предыдущие наборы данных с отдельными сценариями страдают от видения туннелей, в то время как процесс принятия решений в реальном мире основывается на долгосрочных причинно-следственных цепочках. Обширные оценки современных МЛМ показывают, что нынешние модели пытаются точно предсказать эти сложные поведение с платообразующим эффектом даже по мере расширения окон контекста.