Хардеваль: Контрольный показатель, проверяемый на предмет выполнения, для укрепления безопасности АИ-приливов и восстановления соблюдения требований

arXiv: 261 020.23685v1 Вид уведомления: перекрестное резюме: Контроль за осуществлением Руководства по осуществлению технических мер безопасности (КГТБ) остается сложной задачей управления оперативной системой. Каждое требование безопасности на естественном языке должно быть переведено в точное и постоянное изменение конфигурации. Эти изменения охватывают конфигурацию Security Shell (SSH), политику аутентификации, правила аудита и параметры ядра. Существующие контрольные показатели не позволяют определить, может ли модель выполнять эту задачу в режиме эксплуатации. Кодовые контрольные показатели позволяют оценить изолированные программы без постоянного состояния системы, в то время как целевые показатели по агентам ориентированы главным образом на виды применения, а не на конфигурацию операционной системы. В настоящем документе мы введем текст f {HardEval} — проверенный контрольный показатель для оценки укрепления безопасности при помощи языковой модели. HardEval построен на базе системы управления CredHat Enterprise Linux 8 SNIG, которая не работает в рамках неупроченной базовой системы. Справочные меры по восстановлению и открытый язык оценки уязвимости (О)