Spec2Game: Может ли LMS генерировать полные игровые возможности из подробных спецификаций?

arXiv: 2610,04253v 1 Annualce Type: New Habstractive: Создание программы, поддающейся исполнению, не обязательно означает правильное выполнение поведенческих требований, указанных в естественном языке. Для оценки способности больших языковых моделей реализовать подробные спецификации как полные интерактивные программы, мы введем Spec2Game — ориентир, который требует модели для разработки полных проектов Pygame на основе подробных спецификаций игр на естественных языках. Spec2Game состоит из 15 игровых семей и 150 целевых групп с одной канонической задачей и девятью контролируемыми вариантами правил на семью, что охватывает три уровня сложности осуществления. С использованием исходного кода, рабочего времени и визуальных данных мы оцениваем разрабатываемые проекты по четырем измерениям: эффективность, реализация спецификации, качество кодов и качество пользователя. Из 14 МЛМ и 3330 разработанных проектов мы видим, что высокая осуществимость не означает добросовестного выполнения спецификации. Анализ на уровне компонентов далее показывает, что модели