Ин-контекст Робот Обучение с агентами VLM

Компьютерная наука > Компютерное видение и распознавание моделей [представлено 16 сентября 2026 года] Название: In-Context Robot Study with VLM Agents View PDF HTML (экспериментальное) Резюме: Приобретение роботов для адаптации к незнакомой среде так же легко, как люди остаются лунной целью воплощения IA. Никакая конечная коллекция демонстраций не может охватить каждую задачу и ситуацию, с которой столкнется робот, что делает способность учиться на основе контекста в процессе развертывания необходимой для обобщения. Вместе с тем такое обучение на основе внутреннего текста (ИКЛ) по-прежнему в значительной степени не поддается реализации существующей политики робототехники. Широкие агентские возможности моделей коммерческого языка зрения (МЖП), такие как GPT-6 Astra, поднимают внушительный вопрос: могут ли эти модели учиться на демонстрациях, примерах и обратной связи взаимодействия, затем превращать эту информацию в осуществимое и проверяемое поведение роботов из нового первоначального состояния без обновления градиента или постоянных изменений параметров конкретных задач? Мы представляем GPT-Политику, общие агентские рамки для обучения роботам в контексте. ГПТ-политика объединяет контекстосоставителя, который сохраняет зрительные преобразования, имеющие отношение к задаче, VLM, предлагающий действия с помощью роботов и ограниченный контроллер, проверяющий и выполняющий каждое действие и сообщающий о его результатах. Мы оцениваем ее надежность и ограничения с помощью…