Исполняемые значения префикса для выявления сбоев агента

arXiv: 2610.17633v1 Annualce Type: новый резюме: Работа над отладкой агентов LLM рассматривает "первую ошибку", отмеченную человеком или судьей LLS, как наземную истину в случае неудачи траектории. Мы задаемся вопросом, указывают ли такие этикетки на причины или симптомы и делают различие подлежащим исполнению: мы возвращаем агента из восстановленных промежуточных состояний неудавшейся траектории и оцениваем его префикс V(h_t), вероятность успеха с каждой ступеньки при подтвержденной точке отсутствия возврата (PNR) в случае неудачи. На 150 заданиях SWE-bunch, проверенных с двумя замороженными агентами открытого веса, мы построим такие кривые для 47 и 60 неудачных траекторий и проверим каждый шаг, названный четырьмя пограничными судьями под рубрикой Траверс. Мы считаем, что эти этикетки не обозначают того, в чем нуждается контроллер. Судьи различных категорий согласны с тем, что именно в 21/57 делах они будут выступать точно так же, как и самые последние ошибки судей в 8/10 году и 10/10 успешно. Для 66% ярлыков вероятность успеха агента не снижается на указанном этапе; только