ЭММА: Система мультимодальной памяти в случае событий с многоагентным ретровалем

Компьютерные науки > Компютерное видение и распознавание шаблона [представлено 28 сентября 2026 года] Название: EMMA: Action-Driven Modom Memoral System with Multi-Agents Retrieval View PDF HTML (экспериментальное) Резюме: Долгое видеопонимание требует рассуждать о часах содержания, которые намного превышают контекстное окно мультимодальных больших языковых моделей (MLM). Существующие подходы сжимают видео в клипы фиксированной длины, однако события фрагментированы и не связанные с ними материалы объединены, что дает шумный поиск. Для решения этой задачи мы предлагаем ЕММА — систему мультимодальной памяти, ориентированную на события с многоагентным поиском, которая организует память вокруг семантических событий в три этапа: 1) сегментация явлений: двухполосный детектор адаптивно обнаруживает границы событий путем прокручивания визуального семантического дрейфа с разговорными трансформаторами, а не фиксированными окнами. 2) Создание памяти: построенная на обнаруженных событиях трехуровневая иерархия первичных видеозаписи, клип-образной памяти и хранилища памяти на уровне событий при постепенно более высокой сематической абстракции. 3) Поиск памяти: система поиска памяти: несколько агентов совместно запрашивает эту иерархию через разложение запросов, сортировочный поиск данных, подтверждение доказательств и получение ответов, сокращая доказательства от коарских событий до точных копий. Широкие эксперименты по трем сложным контрольным показателям свидетельствуют о существенном…