QTestbench: основа испытания для оценки почитаемого Квантового кода LLM

arXiv: 2610.13811v1 Annuate Type: кросс-бюллетень: Большие языковые модели (LMS) продемонстрировали хорошие результаты в создании классических кодов и все чаще используются для написания единичных тестов, защищающих этот код. То же самое можно сделать и для квантового программного обеспечения менее ясно, потому что кватерные программы являются вероятностными, зависят от цифровых допусков и оцениваются по конкретным доменам, поэтому хорошо разработанный тест все еще может не согласиться с вердиктом контрольного. Существующие квантовые контрольные показатели позволяют определить, дает ли модель правильное решение, но не могут ли ее испытания отличать корректную реализацию от неправильной. Мы представляем QTestbench, систему, которая оценивает квантовые тестовые номера LLM по отношению к независимым контрольным проверкам и никогда не рассматривает испытания сами как земную правду. Для каждой задачи QTestBench побуждает модели производить синтаксические, семантические и поведенческие тесты, вводить потенциальные решения во время работы и сопоставлять каждый вердикт с лейблом шакера