Последний контрольный параметр защищенного кода: Защищен ли код, в котором ты живешь?

arXiv: 2610.14766v1 Annuate Type: кросс-бюллетень. Мы введем последний контрольный параметр защищенных кодов, всеобъемлющую оценку создания надежных кодов агентами по кодированию. Построенный из 150 реальных уязвимых мест, его 450 задач охватывают семь широко используемых языков (Java, C, C++, JavaScript, Python, PHP и Go), 24 CWE, включая 21 из лучших 25 и 8 из 10 самых слабых точек KEV, более чем любой эталонный вариант, с которым мы сравниваемся, и три сценария кодирования: заполнение функции, написание файла и строительство древа источника хранилища с нуля. Каждая задача требует только функциональности, посредством спецификации, в которой никогда не упоминается безопасность, и скрытые функциональные тесты и проверки безопасности оценивают результат. В шести пограничных агентах 73,6 - 91,3% задач проходят функционально, но даже самые сильные, Клод Фэйбл 5, производят код, который является функциональным и безопасным только для 25,1% задач, а зуб