Преобразование: обучение на основе атрибуции и аттестационной аттестации для систем, основанных на использовании агентских средств

arXiv: 2610.11334v1 Аннонс Тип: новое резюме: в системах агентов на основе LLM отказы могут быть вызваны ранними этапами, последствия которых распространяются посредством последующих взаимодействий, что затрудняет выявление их происхождения. Для того чтобы отследить такие неудачи в их происхождении, было сформулировано присвоение ошибок как задача выявления самого раннего этапа, ответственного за эти ошибки. Последние методы используют внутренние сигналы LLM для атрибуции ошибок, обычно используя скрытые состояния в качестве ступенек. Поэтому мы проводим эмпирическое исследование для оценки того, насколько эффективно эти представления отличают шаги коренных причин от других шагов и находят ограниченное разделение. Исходя из этого наблюдения, мы предлагаем ReCast — метод ступенчатого обучения представления, который преобразует скрытые состояния от замороженного LLM в ориентированные на атрибуцию ступенек представления. Сначала отобрать те слои, которые имеют отношение к атрибуции, затем создать дополнительные параметры модели и отклонения и наконец узнать контекстуальный шаг