Компьютерная наука > Разработка программного обеспечения [представлена 26 октября 2026 года] Название: UnityBench-Mini3D: Оценка агентов LLM для 3D Game Development in Wility View PDF HTML (экспериментальный) резюме: Game development подчеркивает агенты кодирования в том смысле, что общая разработка программного обеспечения не так: правильность зависит от того, как взаимодействовать API двигателя, серийное состояние сцены и поведение во время работы, а не только от исходного кода. Существующие контрольные показатели в основном являются целевыми платформами, такими как Godot и во многом зависят от судей ЛУМ или от решающих задач. Мы представляем Unibench-Mini3D — контрольный показатель, состоящий из 77 задач на уровне проекта Единство, который был организован вокруг семи определенных экспертами категорий навыков вместо учебных курсов или жанров с тремя сложностями. Каждая задача представляет собой полную пару проекта "Юнити" с требованиями к естественному языку и оценивается на основе 1178 тестов, проведенных человеком по стартовой схеме, включая структуру сцены, конфигурацию компонентов и поведение в режиме рабочего времени. Такая оценка на уровне двигателей дает детерминистский частичный кредит, локализирует ошибки и проводит различие между частичной реализацией и полными решениями без опоры на субъективных судей. В рамках 21 модели и 9 программ кодирования средний коэффициент перехода достигает 80,9% при выполнении простых задач, но снижается до 35,2% при выполнении…
UniversityBench-Mini3D: Оценка агентов LLM для 3D Game Development in Unity
arXiv: 2610.35980v 1 Annualce Type: кросс-бюллетень: разработка игр напрягает агенты по кодированию в том смысле, что это не так: правильность зависит от того, как взаимодействуют API двигателя, серийное состояние сцен и поведение в режиме работы, а не только от исходного кода. Существующие контрольные показатели в основном являются целевыми платформами, такими как Godot и во многом зависят от судей ЛУМ или от решающих задач. Мы представляем Unibench-Mini3D — контрольный показатель, состоящий из 77 задач на уровне проекта Единство, который был организован вокруг семи определенных экспертами категорий навыков вместо учебных курсов или жанров с тремя сложностями. Каждая задача представляет собой полную пару проекта "Юнити" с требованиями к естественному языку и оценивается на основе 1178 тестов, проведенных человеком по стартовой схеме, включая структуру сцены, конфигурацию компонентов и поведение в режиме рабочего времени. Такая оценка на уровне двигателей дает детерминистский частичный кредит, локализирует ошибки и проводит различие между частичной реализацией и полными решениями без опоры на субъективных судей. По 21 модели и 9