Морская жизнь-16K: Атрибут-риховский набор видеопередатчиков для понимания морских сообщений

arXiv: 261 030.33478v 1 Annuales Type: New Habstractive: Marine Videoview имеет решающее значение для широкого круга реальных прикладных программ. Вместе с тем существующие морские наборы видеоматериалов страдают от ограничений, включая ограниченное число выборок данных, мелкозернистые описания текстов и подробные визуальные атрибуты. Для устранения этих ограничений мы внедряем крупномасштабный набор видеотекстовых данных, содержащих богатые и неразборчивые визуальные атрибуты, адаптированные к сложной морской среде. Наш набор данных состоит из 2000 пар видеотекста, аннотированных с 13 атрибутами, охватывающих до четырех объектов на место преступления, визуальные/геометрические свойства объекта, поведение, экологический контекст и движение камеры, охватывающие различные условия освещения, время суток и 7 стран. На основе этих аннотаций мы производим 16 080 пар видеовопросов (12 080 многорежимных ответов, 4000 открытых). Кроме того, мы сопоставляем как частные, так и открытые модели видео-LLM с ответами на вопросы и заголовками видео. Мы видим, что i) p