Прохождение тестов, отсутствие семантики: доказательство наличия интерпреттивного замка в создании кода на основе плана

arXiv: 2610.15797v1 Вид уведомления: новое резюме: Планирование и пересмотр призваны приблизить генерируемый код к спецификации задачи. Однако ошибочное толкование может сохраняться на протяжении всего плана, осуществления и тестов - схема, которую мы называем интерпретацией. Мы исследуем этот риск в связи с 30 задачами DataFrame, вытекающими из контрольного показателя TPC DS, сравнивая замороженный один пасс, обзор тест-руководство и пересмотренный вариант PlanAudit-Guided. Количество пробоотборных пропусков возросло с 22/30 до 29/30 и 30/30, однако никакого полученного решения не соответствует его хранящейся исходной информации. Механизмы контроля за оценкой вернули ожидаемые результаты в случае 57/57 дел. Тот же двигатель перезапустил 28/30 ссылок; все 77 пробоотборных прогонов по этим задачам до сих пор не сработали. Редакция с помощью программы PlanAudit улучшила показатели по 3/30 задачам и тестов на 11/30, однако среднее изменение пар было нулевым для обеих мер. Анализ неисправности показал, что в ходе испытаний не были учтены требования, приняты схемы с указанием кандидатов и используется недискриминатин