ОВПО: Оптимизация политики в отношении моделей перспективного видения, языка и действий с учетом конкретных целей

arXiv: 2610.10.12914v1 Annualce Type: New Humber: Vision-Language-Action (VLA) модели продемонстрировали большие перспективы в роботоманизации, однако их послеучебная деятельность попрежнему основывается главным образом на траектории под наблюдением имитации для демонстрации роботов. Хотя эта парадигма является эффективной для изучения возможных действий, она контролирует политику воспроизведения экспертных мер на каждом этапе, ориентируя их на конкретные демонстрационные направления деятельности и предоставляя ограниченные руководящие указания в отношении восстановления государств-участников после того, как исполнение отклоняется от продемонстрированных траекторий. Для устранения этого ограничения мы предлагаем ОГПО - механизм оптимизации политики с учетом поставленных целей, который позволит получить возмещение за обучение в рамках ВПП. Вместо того, чтобы рассматривать демонстрации в режиме офлайн просто как ярлыки поэтапных действий, ОГПО адаптивно перемаркирует траектории с помощью семантических ключевых государств и строит ориентированные на достижение поставленных целей меры поощрения для оптимизации политики достижения этих стран прогресса. Таким образом, ОГПО сменит ВЛА после прохождения подготовки