Насколько стабильны доказательства LLM в программе? Тест на стресс для поддающегося проверке кода

arXiv: 261 0303628v1 Annuales Type: New Brieflooks for поддающееся проверке кодирование обычно проверяет доказательства против одного фиксированного осуществления. Мы спрашиваем, остается ли в силе то же самое доказательство после реконструкции программы, которая сохраняет поведение. Мы введем ReferProof, который получает 458 сертифицированных вариантов из 185 задач VERINA, которые компилируются в нашей среде, сохраняя спецификации и оцениваемое доказательство фиксированного байт-байта. ВЕРИНА предоставляет справочные доказательства 46 задач, все из которых относятся к ее базовому разделению; первичные сопоставления с использованием моделей и ссылок еще больше совпадают по 21-25 краткосрочным нерекурентным задачам. Структурные перерасчеты свидетельствуют о значительной хрупкости различных источников доказательств: нормативная структура РСО составляет 4,3% для представленных справочных материалов и 13.3-26,8% для специализированных лиц, подтверждающих получение доказательств. Что касается совмещенных задач, то специализированные доказательства все же имеют более высокий общий уровень неустойчивости выживания по сравнению с представленными эталонными артефактами: +15.6 очков для DeepSeek-Prover-V2-7B, +18,8