MLLM Frame Subset Ansembling for Audio-Visual Video QA и MLM Revant для специального поиска видео в TRECVID 2025

arXiv:2610.23214v1 Annualce Type: New Brieflook: Настоящий документ представляет обзор прогонов, связанных со специальным видеонаблюдением (AVS) и видеоответами на вопросы (VQA), которые были выпущены в 2025 году от имени группы CERTH-ITI. Для трассы AVS мы введем двухэтапную систему, основанную на базовых моделях. На первом этапе несколько моделей языка зрения (VLM) кодируют как вводный запрос, дополненный перефразой LLM, так и видеозаписи потенциальных снимков, создавая взвешенные оценки сходства для первоначального поиска. На втором этапе мы используем модуль перевёртывания на основе мультимодального LLM (MLM), в котором оценивается семантическое соотношение между каждым выстрелом и первым запросом, генерируя обновленные оценки значимости для изменения порядка этих съемок. Этот перевёртывающийся MLLM в значительной степени улучшает контекстуальное сопоставление и позволяет получить более точные окончательные рейтинги без необходимости какой-либо типовой подготовки. Что касается трассы VQA, то мы отладим аудиовизуальный MLLM mo