Компьютерные науки > Проектирование программного обеспечения [представлено 5 октября 2026 года] Название: Elicing Спецификации: Когда интерактивное разъяснение помогает? Вид HTML (экспериментальный) Резюме: LLMS может генерировать спецификации на основе описаний задач, однако эти описания зачастую являются недостаточно определенными или двусмысленными и могут не включать в себя наиболее важные случаи проверки, что дает несовершенные формальные характеристики. Мы изучаем вопрос о том, может ли производитель (ЭА) усовершенствовать проверяемые спецификации на листья путем получения разъяснений от разработчика с использованием исходных данных до формализации. Агент разлагает задачу, определяет нерешённые решения, задает ограниченные вопросы для разъяснения и использует ответы для написания уточненной спецификации на естественном языке, которая формализатор LLM затем переводит в Lean. На 189 задачах генерации спецификации Verina Lean 4 мы сравниваем одноразовое поколение с запросами под вопросом бюджета k=3 и k = 10, что позволяет задавать не более трех или десяти вопросов EA на каждую задачу в рамках одной модели и кросс-модели. В обоих бюджетах трубопровод одной и той же модели Клода Сонета 4.6 имеет отрицательную строгую оценку " 1 > , что свидетельствует о том, что выявление не является единообразным ускорителем точности. В отличие от этого, Sonnet 4,6-GPT-5.6 и SONnet 4.6-Gemini 3.8 имеют положительные точные оценки. Самый большой строгий результат достигает 65,6…
Когда интерактивное разъяснение помогает?
arXiv: 2610.22382v1 Тип уведомления: перекрестное резюме: МLM может генерировать спецификации Lean на основе описаний задач, однако эти описания часто являются недостаточно конкретными или двусмысленными и могут не включать в себя наиболее подходящие для проверяющего лица точки, что дает несовершенные формальные характеристики. Мы изучаем вопрос о том, может ли производитель (ЭА) усовершенствовать проверяемые спецификации на листья путем получения разъяснений от разработчика с использованием исходных данных до формализации. Агент разлагает задачу, определяет нерешённые решения, задает ограниченные вопросы для разъяснения и использует ответы для написания уточненной спецификации на естественном языке, которая формализатор LLM затем переводит в Lean. На 189 задачах генерации спецификации Verina Lean 4 мы сравниваем одноразовое поколение с запросами под вопросом бюджета k=3 и k = 10, что позволяет задавать не более трех или десяти вопросов EA на каждую задачу в рамках одной модели и кросс-модели. В одной и той же модели трубопровод Клод Сонет 4.6 имеет отрицательный строгий пропуск@1 по обоим
