Семантические мировые модели

arXiv:2510.19818v2 Annualce Type: заменить резюме: планирование с мировыми моделями предлагает мощную парадигму роботоконтроля. В рамках обычных подходов формируется модель для прогнозирования будущих рамок с учетом существующих рамок и действий, которые затем могут использоваться при планировании. Однако задача прогнозирования будущих пикселей зачастую противоречит фактической цели планирования; мощная реконструкция пиксель не всегда соотносится с благими решениями по планированию. В этом документе говорится, что вместо того чтобы реконструировать будущие рамки как пиксели, мировые модели должны только предсказывать важную для решения задачи семантическую информацию о будущем. Для такого прогнозирования в документе мировое моделирование представляет собой визуальный вопрос, дающий ответ на проблему семантической информации в будущих кадрах. Такая перспектива позволяет подходить к моделированию мира с использованием тех же инструментов, которые лежат в основе языковых моделей зрения. Таким образом, модели на языке зрения могут быть подготовлены как «семантические» мировые модели с помощью контролируемого процесса уточнения изображения-действия — текста dat