Компьютерные науки > Расчет и язык [представлен 8 октября 2026 года] Название: The Social World Model Evaluation View PDF HTML (экспериментальный) Резюме: Помощник по переговорам может достичь хорошей сделки без точного прогнозирования ответа другого человека. Мы задаемся вопросом, проверяют ли оценки моделей социального мира непосредственно это прогнозирование. Мы проверяем 113 работ, опубликованных в период с 1999 по 2026 год. 9 первичных оценок измеряют реакцию реального человека на действия, выбранные системой или экспериментировщиком. Только 2 человека также сравнивают с этим ответным прогнозом. Их предсказатели используют имеющуюся информацию при выборе действия, и оцениваемые ответы были исключены из подделки; оба они произвольно делают выбор в пользу вмешательства. В ходе отдельной проверки 25 языковых моделей не было обнаружено никаких экспериментов, отвечающих этим условиям. В других оценках проверяются выводы о текущем состоянии, успешность выполнения задач или прогнозирование на основе зарегистрированных действий. Мы предлагаем провести одноэтапный переговорный эксперимент, в ходе которого эти вопросы будут отделены друг от друга. В выводах приводится информация о проверенной выборке, а не о масштабах этого разрыва в оценке на местах. Дополнительные ссылки и цитаты... Библиографический и цитационно-инструментальный библиолог (Что является Исследовательом?) Подключённые документы (что такое подсоединенные бумаги?) Litmaps (Литмпапс?) Skite Smart Citations (Каков…
Разрыв в оценке социальных моделей мира
arXiv: 261 030 3014v1 Annuate Type: новый резюме: помощник по ведению переговоров может заключить хорошую сделку, не предупредив точно ответ другого человека. Мы задаемся вопросом, проверяют ли оценки моделей социального мира непосредственно это прогнозирование. Мы проверяем 113 работ, опубликованных в период с 1999 по 2026 год. 9 первичных оценок измеряют реакцию реального человека на действия, выбранные системой или экспериментировщиком. Только 2 человека также сравнивают с этим ответным прогнозом. Их предсказатели используют имеющуюся информацию при выборе действия, и оцениваемые ответы были исключены из подделки; оба они произвольно делают выбор в пользу вмешательства. В ходе отдельной проверки 25 языковых моделей не было обнаружено никаких экспериментов, отвечающих этим условиям. В других оценках проверяются выводы о текущем состоянии, успешность выполнения задач или прогнозирование на основе зарегистрированных действий. Мы предлагаем провести одноэтапный переговорный эксперимент, в ходе которого эти вопросы будут отделены друг от друга. В выводах приводится информация о проверенной выборке, а не о масштабах этого разрыва в оценке на местах.
