Программа " Дистимл: от интерактивных веб-приложений к поддающимся проверке референцным задачам SWE

arXiv: 2609.18805v1 Annuales Type: кросс-бюллетени. Однако в практическом развитии веб-сайта агенты, возможно, должны определить поведение рабочего программного обеспечения и внедрить его в неполное приложение. Мы введем программу Distill — эталонную оценку агентов кодирования характеристик, обнаруженных благодаря взаимодействию с полностью функциональными прикладными приложениями. Мы строим программу Distill, деля приложения на элементы различных гранулярий, каждый из которых связан с повторяемыми поступками, которые могут быть реализованы через золотое пятно. Наш трубопровод, минно-красный патч, обнаруживает 1975 перепроверенных поведений в 26 приложениях и строит 4063 задачи без вмешательства человека. В девяти пограничных системах кодирования ГПТ-6 Астра и Клод Опус 5 добились 49,2% и 28,8% успеха в совокупном объеме работы по реконструкции полного применения. В области частичного восстановления, а именно: с 100% до 64 %