Компьютерные науки > Искусственный интеллект [представлен 27 октября 2026 года] Название: Vision-Language Agents может учиться в своем собственном Latent Worlds View PDF HTML (экспериментальное) резюме: Обучение на основе опыта имеет важное значение для создания следующего поколения агентов, постоянно расширяющих свои возможности. Предварительно подготовленные модели языка зрения (ДВУ) уже обеспечивают интернализацию богатых мировых знаний, однако эти знания редко используются для стимулирования совершенствования политики через интерактивное взаимодействие. Эффективное осуществление этого потенциала по-прежнему сопряжено с трудностями, поскольку обновление политики меняет распределение взаимодействия агента, требуя от мировой модели соответствующей адаптации, в то время как постоянное обновление крупных предварительно подготовленных моделей является расчетно дорогостоящим делом. Для решения этой задачи мы введем систему обучения на основе модели (RL), которая переформулирует VLM как периодически скрытый оператор переходного периода, предоставляя ему возможность предсказывать, корректировать и действовать в скрытом пространстве. Используя собственные представления VLM и его двойную роль как мировой модели, так и политики, агент постоянно учится на реальных взаимодействиях для прогнозирования и оценки результатов действий, а также от скрытого воображения для улучшения своего поведения. В пяти интерактивных визуальных средах Дьюэлл достигает самых высоких общих показателей в…
Визуальные агенты могут учиться в своих собственных скрытых мирах
arXiv: 261 030,36925v1 Вид объявления: новое резюме: Изучение опыта имеет важное значение для формирования следующего поколения агентов, которые постоянно расширяют свои возможности. Предварительно подготовленные модели языка зрения (ДВУ) уже обеспечивают интернализацию богатых мировых знаний, однако эти знания редко используются для стимулирования совершенствования политики через интерактивное взаимодействие. Эффективное осуществление этого потенциала по-прежнему сопряжено с трудностями, поскольку обновление политики меняет распределение взаимодействия агента, требуя от мировой модели соответствующей адаптации, в то время как постоянное обновление крупных предварительно подготовленных моделей является расчетно дорогостоящим делом. Для решения этой задачи мы введем систему обучения на основе модели (RL), которая переформулирует VLM как периодически скрытый оператор переходного периода, предоставляя ему возможность предсказывать, корректировать и действовать в скрытом пространстве. Используя собственные представления VLM и его двойную роль как мировой модели, так и политики, агент постоянно учится на реальных взаимодействиях с предвидением и эвой
