НДДРВЛА: Модель видения, языка и действий с изображением физической динамики

arXiv: 261 030.37381v 1 Annuation Type: cross Brieft: Vision-Language - Action (VLA) модели создают действия роботов на основе визуальных наблюдений и языковых инструкций, но их понимание физической динамики остается ограниченным. В видео-моделей мира можно запечатлеть динамику сцены, однако создание будущих видеосюжетов привнесет высокую степень латентности в контрольный цикл. Мы представляем NDRAVLA, чей легковесный модуль физической динамики извлекает физические символы от зрительного языка к состоянию создания действий без онлайнового видеозаписи. Модуль учится на основе прямого прогнозирования будущих параметров RGB, глубины и оптического потока с вспомогательным надзором через замороженную предварительно подготовленную видеомодию. Обучение полностью опирается на общедоступные данные, расширяемые за счет обобщения данных между человеком и роботом, подзадач и воплощающей в себе аннотацию цепной концепции (ЕСОТ). В рамках четырех контрольных показателей моделирования НДДРВЛА добивается успеха в 99,3% по ЛИБЕРО, 89,9% по LIBERO-Plus, 93,6% по Robotwin~2,0 и 81.