Реклама

Mobile WorldBench: Towards to Semantic World Modeling for Movey Agents

#Mobile #WorldBench #Towards #Semantic #World

arXiv: 2512.14014v2 Annuales Type: заменить резюме: World Models продемонстрировали большую полезность в улучшении выполнения задач зарекомендовавшими себя агентами. Хотя предыдущая работа в основном сосредоточена на мировых моделях пикселя, эти подходы сталкиваются с практическими ограничениями в параметрах GUI, где прогнозировать сложные визуальные элементы в будущих государствах зачастую трудно. В этой работе мы исследуем альтернативную формулу модели мира для агентов ГУИ, где изменения состояния описываются в естественном языке вместо прогнозирования сырых пикселей. Во-первых, мы введем Mobile WorldBench — ориентир, который оценивает способность моделей языка зрения (VLM) функционировать как мировые модели для мобильных агентов GUI. Во-вторых, мы выпускаем MobileWorld — массив данных, состоящий из 1,4M образцов, что значительно повышает мировой потенциал моделирования VLM. И наконец, мы предлагаем новые рамки для интеграции мировых моделей VLM в систему планирования мобильных агентов, демонстрируя, что семантические мировые модели могут быть di