Может ли МЛМ исправить это без кода? На пути к автоматической проверке некодексовых зажимов

arXiv:2610.1196.3v1 Annuate Type: кросс-бюллетень: никчемное кодирование исправляет неверный отчёт об ошибках путем указания пользователю изменить настройку, обновить версию, где проблема уже установлена или скорректировать свой рабочий процесс. Ручное подтверждение того, решает ли предлагаемый отказ от кода ошибка, требует значительного времени разработчика. В этом исследовании предлагается автоматизированный, основанный на исполнении трубопровод для оценки способности крупных языковых моделей (МЛМ) генерировать некодовые исправления в реальной среде браузера. Мы оцениваем 322 некодовые исправления, полученные 12 конфигурациями, выпущенными с контрольным параметром предыдущего исследования, которые охватывают отчеты об ошибках, отнесенные к категории "Неправильная конфигурация", "неверная версия" или "Внешняя система & Зависимость". Агент исполнителя применяет каждый заголовок, следуя естественным инструкциям на языке, и проверяющий по конкретным вопросам определяет, сохраняется ли выявленный прог. Мы повторяем трубопровод с тремя исполнителями: двумя агентами по компьютерному использованию, OpenCUA-72B и Клодом Сонетом 5 и одним м