Хроника: Репликация с отрезанными точками для регрессионных испытаний агентов LLM

arXiv: 2609.20625v1 Annualce Type: кросс-бюллетень: ответы на модели большого языка не детерминистские, поэтому ошибки в агентах LLM трудно воспроизвести: провал зависит от вывода, которое не является супервидимым, от инструментов, которые прочтут меняющееся состояние и от многоэтапной траектории, которую повторное прогонирование редко повторяется. Записи и повторное воспроизведение делают процесс воспроизводимым, но существующие записи с помощью агентов работают только для того, чтобы отследить их или набрать их, а не проверить изменение кода против них. Мы представляем Хроникл, который записывает агента, бегущего по его недетерминистским границам как неизменные конверты и перепроигрывает их из записи. Его центральная операция, перепроигрывающая отрезаемые точки, служит выбранной подгруппе границ из записи и выполняет дополнительную подмножку в прямом эфире с новым кодом, превращая зарегистрированный инцидент в регрессионное испытание, которое проходит при непрерывной интеграции. По контрольной величине, составляющей 6 зарегистрированных сбоев с имитируемыми границами модели, регистрация добавляет 23 {\mu}s на один переход (0,008% от предполагаемого вызова модели 300 мс), фу