Не все правильные фиксации, запущенные как аналоги: Эмпирическое исследование результативности на уровне репозиторий

arXiv: 2610.13563v1 Тип уведомления: перекрестное резюме: контрольные показатели урегулирования вопросов на уровне хранилища, такие как SWE-bench, оценивают представленные участки главным образом исходя из того, проходят ли они проверку правильности, оставляя в основном неизученными результаты работы различных испытательных пластов. Оценка результатов работы по принципу " пятки &qt; имеет важное значение, но сопряжена с трудностями, поскольку определение объема рабочей нагрузки для каждого контрольного случая является дорогостоящим. Однако эти контрольные показатели уже обеспечивают естественный кандидат: встроенные тесты, которые проводят поведение, на которое влияет данный вопрос. Поэтому мы изучаем вопрос о том, можно ли повторно использовать предусмотренные тесты F2P для оценки эффективности патча. В целом мы выбираем четыре пограничных модели: Клод Опус~5, GPT~5,6, DeepSek V4 Pro и Qwen~3.8 Макс, в паре с агентом SWE-max для решения предварительно фильтрованного поддающегося измерению корпуса из проверенных делений SWA-Bonch-banch-Live, что дает 262 случая по крайней мере два разных правильного решения, включая девело.