Адаптация видеомодели для управления роботами с помощью ассиметричного прогнозирования движения

arXiv: 261 0366624v1 Annualce Type: New Human Action Models (WAMS) позволяет использовать предварительно подготовленные видеогенеративные модели для роботоконтроля путем совместного прогнозирования будущих визуальных наблюдений и действий. Цель визуального прогнозирования играет ключевую роль в адаптации предварительно подготовленных видеозаписей к целевому домену роботов. Однако стандартное визуальное прогнозирование, унаследованное от видеозаписи предварительного обучения, одинаково подходит ко всем визуальным областям, несмотря на их различную значимость для роботоконтроля. Поэтому мы изучаем вопрос о пространственном распределении визуального наблюдения в ВДА и показываем, что сосредоточение внимания на динамично развивающихся регионах может существенно повысить эффективность проводимой политики. Основываясь на этом выводе, мы введем ассиметричное прогнозирование движения (MoGAP), которое дополняет обучение WAM визуальным прогнозированием движения. Министерство по вопросам безопасности распределяет шум асимметрично между регионами, обучая модель восстановлению более сильно коррумпированных динамичных регионов с использованием в качестве контекста менее коррумпированных статических районов. МПАП проходит подготовку