PAWA: Панорамные действия с учетом мирового моделирования для нескольких агентов

arXiv:2610.20240v1 Annualce Type: New Habstract: Multiplayer World Model должна предсказать, как независимые действия нескольких игроков изменяют общую среду, включая изменения вне текущего поля зрения игрока. Видео с точки зрения (POV) фиксирует такие изменения только после того, как они вошли в поле его обзора, тогда как панорамное видео записывает окружающий мир во всех направлениях просмотра и служит промежуточным представлением мирового состояния в последних мировых моделях. Поэтому для изучения этой задачи требуются синхронизированные POV и панорамные видеозаписи взаимных игроков вместе с их действиями, однако ни один из существующих наборов данных не обеспечивает такого сочетания в Minecraft - установившейся испытательной площадке, где участники действуют независимо в общем, модифицируемом 3D мире. Мы представляем ПАВА, набор данных и рамки для моделирования мира панорамных многопользователей с учетом конкретных обстоятельств. Набор данных сочетает POV-видео каждого игрока с всемирным стабилизированным панорамным видео и согласованными действиями. Распределенный трубопровод