$Delta\tau-Bench: Подталкивание агентов к подвижности

arXiv: 261 030,34238v 1 Annualce Type: New Brieflover: В настоящем документе мы введем $Delta\tau-Bench — поддающийся исполнению эталонный показатель агента, который моделирует структурную эволюцию крупных систем инструментов. В $Delta\tau-Bench независимое развитие услуг постоянно изменяет способы выполнения задач: знакомые инструменты могут исчезнуть или быть заменены, в то время как более эффективные альтернативы появляются на фоне дублирования функций и шумной документации. На фоне этого движущегося потенциала мы оцениваем, могут ли агенты активно находить эффективные пути использования инструментов и оперативно пересматривать свои накопленные процедурные знания с учетом требований о том, что существующие контрольные показатели не будут изучены. Наша оценка показывает, что даже самая сильная модель или средство достижения успеха достигает всего 42,3%, в то время как первоначальный выигрыш от существующего скальпа