За пределами QASecClaw: агент Скалинг, проверка отзывов и достоверность доказательств в обеспечении программного обеспечения

arXiv: 261 030,36947v1 Annuales Type: cross Brieft: Может ли дополнительный контекст специализированных языковых моделей улучшить гарантию программного обеспечения при наличии детерминистских данных? Мы изучаем этот вопрос с помощью пяти экспериментов, охватывающих системы контроля за предупреждением Java, контрольную оценку OWASP, разработку тестов на неисправность4J, вердикты по утверждению SV-COMP и пакеты преднамеренно вводящих в заблуждение доказательств. Оцененные системы используют инструкцию Qwen2,5-Coder-7B с анализом чувствительности 1,5В и заполняют 13 638 заявок на модели. Что касается восьми связанных с этим предупреждений о развитии, то увеличение числа контекстов с 1 до 50 увеличивает символическое использование в 49 раз без улучшения небезопасных расчисток. В 160 случаях, связанных с ОУАСП, модельная конфигурация торговых операций позволяет не допустить возникновения нерешенных проблем; десятиконтекстный механизм оценивает лишь 96 случаев. В 32 задачах СВ-КОМП отзывы контролеров приводят к тому, что с 12,7 до 22.0 вердикты модели имеют значение, но также и неправильные верования от одного до семи; проверка базовых показателей JBMC-плюс-JVM дает 26 кор