СВИМ: Изучение важных для ДЖЕПА мировых моделей событий

arXiv: 261 0366662v 1 Annualce Type: cross Briew: Совместная архитектура прогнозирования (JEPA) позволяет мировым моделям планировать на основе изображений, предсказывая будущие вставки. Однако их цели визуального прогнозирования прямо не включают в себя информацию о состоянии, имеющую отношение к задаче, поэтому физическое состояние, которое определяет ход выполнения задачи, может быть недостаточно надежно зарегистрировано в латентном пространстве. Наблюдение за мировыми моделями с имитирующим состоянием может сделать планирование более информативным, но для этого требуется решение о том, какие характеристики состояния имеют значение. Особенности обычно выбираются вручную или равномерно, и единообразное взвешивание дает каждому стандартизованному состоянию равное влияние, поэтому избыточные координаты могут пересчитать одни и те же вариации, тогда как не имеющие отношения к делу различия могут затушевывать. Для устранения этого ограничения мы предлагаем SWIM (State Valusing with Inver-Dynamics Model), который учит весы государств из офлайновых траекторий, предсказывая зарегистрированные действия в текущих состояниях и наблюдаемый будущий дисплатив