AdShot: Контрольные мультимодальные модели большого языка для просмотра видео-рекламы

arXiv: 261 030 33777v 1 Annuales Type: кросс-бюллетень: Рекламщики обычно создают многоплановые варианты рекламы для удовлетворения маркетинговых бюджетов и предпочтений зрителей, что является трудоемким и дорогостоящим процессом. Хотя мультимодальные крупные языковые модели (MLMs) успешно справляются с общим видеопониманием, их способность выполнять специализированные редакционные задачи остается неизученной. Мы представляем AdShot, ориентир для оценки MLLMs при отборе снимков для рекламы. Она содержит 823 профессионально отредактированных ад-пара (30 - сек. источников и 15 - секретных редакторов) в 194 брендах и 17 отраслях, аннотированных по уровням и особенностям содержания (действия, эмоции, информация, изображения). Мы оцениваем 13 самых современных видео только MLLM и 2 аудиовизуальных MLIMS (7B-72В параметры) на точность отбора выстрелов (Прецизионность, отзыв, F1), ограничения продолжительности (15s), а также сохранение контента, включая звуковую абляцию. Мы видим: 1) модель архитектуры имеет значение больше, чем масштаб, при этом менее крупные модели часто совпадают или превышают l