Может ли сверкать VLM высокодинамичные мировые потоки?
arXiv: 261 0.124227v1 Видеотип: новое резюме: Стильные модели большого языка (VLM) обеспечивают непрерывное видеопонимание, однако существующие контрольные показатели ориентированы на низкодинамические сценарии. При ограниченных бюджетах на случай контекста модели должны обеспечивать баланс между временной историей, пространственным разрешением и временнóй грануларией; ограниченный отбор проб при 1-2 FPS пропускает быстрые события. Мы представляем FastBench для оценки высокодинамического восприятия в реальных потоках видео. Его траектория подводит к генерации QA из клипов с высоким уровнем PFS, фильтруя вопросы, на которые можно ответить при 2 FPS, и отвечая на проверку с использованием траекторий SAM3 и CoTracker3, а также три раунда человеческой инспекции. FastBench содержит 306 пар QA в восьми доменах, 6 возможностей и передние, мгновенные и отсталые временны́е области с интервалами между уликами человека. Мы также представляем PactiveFrame, бесподготовную базу, которая корректирует входные ставки с помощью текстовых символов. Двухуровневое скользящее окно сохраняет за собой последние наблюдения с высоким уровнем FPS w
