Унификация моделей фонда " Эмиграция &qt; с помощью разработки модели для политики

arXiv: 261 020.23053v1 Видение типа: перекрестное резюме: модели на языке зрения (VLA) и мировые модели действий (WAMS) стали многообещающими подходами к обучению роботов и контролю над ними. Эти модели объединяют мультимодальное восприятие и формирование практических действий, но различаются в своих архитектурах, представлениях о результатах и целях обучения. В этом документе мы представляем единую архитектурно-агностическую вероятностную формулу для воплощаемых моделей фундамента, основанных на ядерах стохастики. Наша формулировка состоит из двух ключевых компонентов: i) мы характеризуем воплощенные в жизнь модели посредством распределения условной продукции и реализации на практике ядер, которые вместе стимулируют политику роботов с учетом конкретных задач; ii) мы увязываем предварительную подготовку и послеучебную подготовку с разработкой политики, устанавливая конкретные цели предварительной подготовки по конкретным моделям и офлайновые или онлайновые стратегии после обучения. Мы привязываем формулу для OpenVLA и DreamZero, охватывающую авторегрессивное прогнозирование действий и совместное видео-действие ge