SpireBench: Оценка долгосрочной стратегической игры агентских моделей с помощью шпильки

arXiv: 2610.12596v1 Annuate Type: New Humber Abstract: Agentic крупноязычные модели в настоящее время решают сложные задачи, однако стратегические рассуждения на длинные горизонты недостаточно изучены: большинство агентских контрольных показателей коротки и эпизодичны, а выполнение длительных задач трудно пересчитывать с точки зрения хранящихся знаний, рассудок и удачи. Мы представляем SpireBench, в котором модели играют полный коммерческий сборщик палубы Slay the Sprear (StS), где ранние решения определяют долгосрочный успех. В 20 крупных языковых моделях (LMM) при самых больших трудностях игры, пограничные модели побеждают эвристические исходные линии и соответствуют среднему игроку-человеку, но остаются далеко позади экспертов. Этот разрыв увеличивается по мере увеличения протяженности: самые сильные модели выигрывают первый акт так же часто, как и эксперты, а затем отступают. Что отличает сильные модели от слабых, так это то, насколько хорошо они играют в каждую борьбу; все из них ошибочно оценивают риск за пробежку, сохраняя здоровье, а не тратя его на рост. Всестороннее, самоподходящее переименование каждого игрового термина показывает, что пар