SWE-Shift: Оценка кодирующих агентов в изменяющемся рабочем пространстве

arXiv:2610.32196v1 Тип уведомления: новое резюме: контрольные показатели кодирования на уровне хранилища в основном предполагают, что задачи и условия остаются неизменными во время выполнения. В разработке программного обеспечения код, зависимость, состояние работы и требования могут измениться в то время как агент все еще работает. Мы введем SWE-Shift, ориентир для оценки агентов кодирования с учетом таких изменений средней степени эффективности. Из того же сохранённого исторического и рабочего пространства " Чистое продолжение &qt; происходит без вмешательства, в то время как соответствующее пересменное продолжение получает обновление, имеющее отношение к задаче. Успех требует выполнения текущей задачи, сохранения все еще действительной работы и удовлетворения требований в отношении соответствующего состояния дел и проверки доказательств. Этот контрольный показатель включает 120 сценариев по 12 семьям, в которых происходят изменения, причем каждый из них оценивается на девяти запланированных должностях. Мы оцениваем 17 систем кодирования-агентов, все из которых сдвинулись ниже чем чистый успех. ГПТ-6 Астра снижается с 67,35% до 24,79% и имеет 20,34% парных успехов. Изменения в инструменте/сессии и запутанные доказательства