Реклама

Что делает видео-моделей в мире сценарием действий: прогноз по поводу реконструкции

#Annuales #Type #Video #Используя #Сопоставление

arXiv: 2606.076787v2 Annuales Type: заменить резюме: Video world модели все чаще используются для прогнозирования визуального отображения, однако остается неясным, какие предподготовительные сигналы вызывают срабатывание структуры в их лазейках. Мы изучаем этот вопрос с помощью унифицированной оценки на основе зондов в различных семьях энкодеров, включая самовидение только изображения, подготовку видео для скрытых прогнозов и без них, авто кодеры на базе реконструкции, модели распространения и модели динамики сокращения. Используя общую обратно-динамику для определения цели, мы обнаруживаем, что структура, относящаяся к действию, определяется главным образом временной подготовкой видео, а не достоверностью пикселя: модели с высоким качеством декодирования пикселей могут демонстрировать почти нулевую возможность восстановления действия, в то время как подготовленные на видео самоконтролях самодиспетчеры последовательно достигают лучшего компромисса между визуальной достоверностью и прогнозированием действий. Сопоставление V-JEPA и VideoMAE также показывает, что большинство из них получают Ar