Брикбенч: Оценка агентского дизайна кирпича

arXiv: 2610.12452v1 Аннот: кросс-бюллетень: Мы предлагаем BrickBench, эталонный для агентско-текстоусловного дизайна LEGO. С учетом оперативности агенту поручается производить сборку, которая не только удовлетворяет семантическим и проектным критериям, но также может быть физически построена. Для этого она должна выбрать отдельные части из дискретной библиотеки и совместно определить причины, связанные с местными и глобальными ограничениями. Мы оцениваем действительность, соответствие и дизайн в трех параметрах, которые различаются по масштабу и части доступности. Мы обеспечиваем BrickAgent, среду для кодирования агентов, чтобы создавать, проверять и подтверждать их дизайны. Мы считаем, что ведущие агенты в значительной степени отвечают поддающимся проверке физическим и семантическим требованиям, но не обладают человеческими конструкциями. Мы выпускаем наши контрольные показатели и информацию об окружающей среде по адресу http://www.brickben.ch