Аннотраза: Работа для аннотации агентских следов на уровне ступеньки

arXiv: 2610.23284v1 Annualce Type: кросс-бюллетень: Каждое исследование причин отказа агентов LLM начинается с маркировки следов вручную, и каждое такое исследование создает свой собственный инструмент для выбрасывания. На платформах наблюдения регистрируются следы агента, но не предлагается структурированная маркировка; аннотационные инструменты обозначают текст знака, однако они не имеют понятия о шаге, делегации или вызове инструмента, в связи с чем остается неясной, каким должен быть наименьший элемент исполнения. Annotrace читает шесть форматов следов, включая OpenTelemetry GenAI, LangSmith и Langfuse, и превращает каждый из них в упорядоченный список ступенек. Аннотизатор пишет свой собственный код-книжку; пограничная модель предлагает стартовый набор из выборки своих собственных следов, сначала отвечает на вопросы и задается точно вопросы человека, делая аннотацию совместным процессом "человек-Ай". Анноктрас - это соглашение между любыми двумя аннотаторами, людьми или ИИ. В многоагентском корпусе ответов на вопросы он воспроизводит предыдущие ручные усилия 235 аннотаций точно, и две модели