Помогает ли способ оценки шумных измерений принимать полезные изменения кода при одинаковых ролях, задачах и лимитах? Разбираю фильтр Калмана на простой учебной модели: как он соединяет прогноз и отзыв критика, чем отличается от регулятора и что происходит при коррелированных ошибках, выбросах и задержках. Затем проверяю четыре правила принятия правок в реальном цикле «автор — критик». Пилот завершён: 720 ответов модели, из них 144 для калибровки и 576 для оценки на шести задачах оптимизации Python-кода. В симуляции фильтр улучшил оценку состояния и уменьшил величину правок. В реальном пилоте все четыре режима достигли критерия успеха, а дополнительного преимущества Калмана обнаружить не удалось. К статье приложены ноутбук, исходники, результаты, графики и описание ограничений, а также готовый пакет для собственного эксперимента с агентами через OpenAI API — с инструкцией, калибровкой, паузой и возобновлением. Предлагаю всем желающим заняться исследованием, на каких реальных задачах ро
Глядя на то, как современные вайбкодеры обращаются с роями агентов, возникает ощущение, как будто все разом забыли про существование теории управления. В самом деле, как можно строить все эти циклы с исполнителями и критиками просто наугад?
Агент исправил работу, но очередной отзыв критика требует исправить еще. Итерации могут не сходиться или сходиться слишком медленно, возникает проблема «шумного критика» — это все давно известно для систем вида предиктор+корректор.
Один из инструментов для работы с шумными измерениями — фильтр Калмана.
Я сначала проверил его на простой численной модели, а затем построил стенд с настоящими ИИ-агентами. Результаты получились разными: в учебной симуляции фильтр улучшил оценку состояния и уменьшил величину правок, а в реальном пилоте дополнительного преимущества Калмана обнаружить не удалось.
