Контрольные показатели для агентов LLM в целях обеспечения надлежащего поведению испытания на основе требований программного обеспечения

arXiv: 261 030.36584v 1 Annuales Type: cross Brieft: Поскольку крупные языковые модели все чаще составляют требования к естественному языку в коде уровня хранилища, поколение требований к тестированию приобретает важное значение для обеспечения ограничений (или жгутов) проверки достоверности для разработки кодов. Однако остается неясным, могут ли нынешние агенты производить тесты, подтверждающие требуемое поведение при отказе от применения такого поведения. Существующие контрольные параметры для создания испытательного оборудования в основном ориентированы на проверку белых коробок, тогда как исследование по вопросу о необходимости проведения испытания обычно требует оценки семантического соответствия между указанными документами и полученными тестами. Мы введем систему " Req2 Test-Bench &qt; , которая содержит 5 086 подтвержденных случаев исполнения, обнаруженных на артефактах развития (DDD) с разрешения разработчика и при помощи соответствующего поведения (BDD), в рамках 8 проектов с открытым исходным кодом, охватывающих пять языков программирования и четыре рамочных документа по BDD. Каждый пример сочетает требование к естественному языку в Геркине с его тестом, написанным разработчиками I