VibeVideoBench: Оценка мультимодальных агентов на коде Driven Video Generation

arXiv: 261 030.35864v1 Annuate Type: New Humber: Difclusion Video Models выпускает ударные клипы, но они не могут надежно представить точную формулу, правильную диаграмму, последовательность игры или повествование синхронизированную с событиями на экране. Появился другой путь: мультимодальные агенты, которые пишут код для передачи каждой кадра и синтезируют каждый звук. Мы введём VibeVideoBench, ориентир для оценки агентов по производству видео с помощью кодов. Ее 239 автономных задач на английском и китайском языках охватывают 12 категорий, от рассказов о данных и музыкальных произведений до уроков в классе и бумажного объяснения; каждый просит агента, который работает в своем собственном жгуте внутри песчаного ящика, поставить законченный MP4 с звуком в течение одного часа. Оценка носит иерархический характер и основана на фактических данных: программные проверки по спецификации доставки, около 13k проверок конкретных задач с учетом требований, которые они обеспечивают, а также пять качественных параметров, установленных для каждой задачи, оцененных тремя коллегиями судей ВУЗа и подтвержденных слепой человеческой предпериментурой.