Hedge-Bench: Контрольные агенты по сложным, реалистичным задачам, связанным с финансовыми обоснованиями

arXiv: 2606.03918v2 Вид уведомления: заменить резюме: современные АИ-агенты все больше способны выполнять обычные задачи финансового анализа, такие как поиск документов и обновление таблиц. Более сложной задачей является прогнозирование неизвестного будущего на основе неполной информации. Государственные рынки обеспечивают естественный тест: аналитики регулярно предсказывают отдельные события с помощью информации, полученной в тот момент времени. Мы представляем Hedge-Bench, эталонный показатель из 92 реальных условий в мире, полученных от аналитиков хедж-фондовых рассуждений вместе с впоследствии решенными вопросами прогнозирования. Агенты рассуждают по замороженным информационным снимкам, и их прогнозы оцениваются на основе реальных результатов. В 11 пограничных моделях и 3 испытаниях на окружающую среду общие показатели успеха, которые требуют как правильного прогноза, так и более 60% охвата исследований, варьируются от 2,54 до 31,52%. Используя GPO с кредитным заданием на уровне поворота, мы обучаем Muse-Glimmer 165 средам, расширяя охват 22 задерживаемых средами с 1