Точный контрольный параметр отладки: Отключение или регенерация вашей модели?
arXiv:2604.17338v5 Тип уведомления: заменить кросс-бюллетень: в отличие от завершения кода, для отладки требуется локализация неисправностей и применение целенаправленных редакторов. Мы наблюдаем, что при отладке границ MLM часто восстанавливают правильные, но переработанные решения. Для оценки того, насколько далеко МЛМ от точного отладки, мы внедряем систему контрольных параметров вычисления (PDB), которая автоматически преобразует любой набор кодовых данных в отладочный эталонный показатель с точной оценкой. PDB генерирует жучки, синтезируя проверенные атомные ошибки и сформулируя их в многобаговые программы. Мы определим две новые метрики, уровень точности редактирования и уровень отзыва ошибок, которые измеряют количество необходимых редакторов и число ошибок улажено. Мы выпустим два контрольных показателя оценки: PDB-Single-Hard на однолинейные ошибки и PBD-Multial на многоканальные. Эксперименты показывают, что приграничные модели, такие как GPT-5.1-Codex и DeepSeek-V3.2-Thinking, достигают удельной скорости прохождения теста выше 76%, но имеют точность ниже 45%
