Специалист: Контрольные кодирующие агенты на изменяющихся особенностях

arXiv: 261 030.37434v 1 Annualce Type: кросс-бюллетень: Программная функция обычно развивается с течением времени: разработчики расширяют свою первую версию по мере появления новых вариантов использования и требований, а каждое расширение основывается на коде, который был написан ранее. В большинстве контрольных показателей по конкретным элементам оценивается единый запрос на фиксированной кодовой базе. Эволюция характеристик требует оценки последовательных продлений с помощью своего предыдущего кода агента и проверки того, остается ли функция правильной. Мы введем FeatureArc для оценки агентов кодирования на изменяющиеся характеристики вместе с трубопроводом, который строит свои задачи на основе истории репозиторий. Этот контрольный показатель сочетает в себе зависимости между последовательными этапами одной и той же функции, четкими требованиями и контрактами на интерфейсы и выполняемыми проверками по четырем языкам программирования. По трубопроводу проверяются результаты тестов на отказ в прохождении (F2P) для нового поведения и испытаний на переход (P2P), касающихся существующего поведения в справочном коде до и после каждой стадии. Мы провели оценку 10 агентов кодирования по 73 заданиям, проверенным вручную