Когда вмешаться? Эмпирическое исследование ошибок и самовосстановления в агентах ЛЛМ

arXiv: 261 030.36471v 1 Annuales Type: новый резюме: агенты LLM взаимодействуют с веб-услугами для выполнения задач от имени пользователей. Ошибки, допущенные в ходе этих взаимодействий, могут нарушить выполнение задач и помешать их выполнению, стимулируя внешнее вмешательство. Вместе с тем агенты могут самовосстановиться посредством продолжения исполнения приговора, в связи с чем возникает вопрос о том, когда и когда следует вмешаться и дожидаться восстановления. Мы представляем эмпирическое исследование по ошибкам и самовосстановлению в агентах ЛУМ. Мы сооружаем ReInBench — набор данных, содержащий 1 259 следов агентов и 1403 ошибки в работе компьютеров и веб-сайтов. В нашем исследовании рассматривается вопрос о том, как часто и насколько быстро агенты самовосстановляются, каким образом самостоятельное восстановление связано с последующим исполнением и выполнением задач и можно ли прогнозировать саморегенерацию в случае возникновения ошибки. Мы обнаружили, что 725 ошибок самовосстановляются часто в несколько этапов с показателями саморегенерации, которые различаются между МПМ. Самовосстановление может также помочь агентам восстановиться после последующих ошибок того же типа и сверки.