Характеристика избыточной неуверенности в формировании кода на основе LLM

arXiv:2610.11300v1 Annuate Type: кросс-бюллетень: Большие языковые модели (LMS) все чаще используются для создания автоматизированных кодов, но генерируемые программы могут казаться синтактически правдоподобными при том что они попрежнему не обеспечивают проверки правильности исполнения. Существующие методы проверки, такие как тестирование и программный анализ, по-прежнему имеют важное значение, но зачастую являются неполными, дорогостоящими или применяются только после поколения. Таким образом, неопределенность на основе моделей является естественным сигналом ранней надежности. В этом документе изучается дилемма избыточной уверенности в коде LMS, где неправильные программы часто генерируются с доверием на уровне символов, сопоставимом с корректирующими программами. Мы изучаем эту дилемму в рамках четырех моделей кодов с открытым исходным кодом и трех контрольных показателей, основанных на исполнении. Наш анализ начинается с изучения вопроса о том, обеспечивают ли существующие показатели неопределенности надежные прокси для обеспечения точности исполнения в генерации кодов. Затем мы характеризуем чрезмерную уверенность как на глобальном, так и на местном уровне, задавая вопрос о том, остаются ли неправильные программы на месте.