3D-Driven Framework for Move-Camera Perspective-to-360 {deg} Video Generation

arXiv: 261 020.25395v1 Annuate Type: новый Резюме: Преобразование видео с перспективой движения камеры в 360 {deg} видео требует большего, чем просто генерирование контента вне рамок ввода данных: наблюдения должны быть сохранены во времени, невидимые регионы завершены и полученная сцена остается последовательной по мере изменения точки зрения камеры. В соответствии с существующими методами эти различные требования предъявляются к одной условной видеомодели, которая требует совместного изучения панорамных видеоданных. Вместо этого мы представляем модульную трехмерную систему, которая распределяет эти три функции по специализированным компонентам, все из которых соединены через общее представление сцен. Входные наблюдения непосредственно реконструируются в 3D, а предварительно обученная панорамная модель изображения завершает ненаблюдаемое содержание из выбранного паноромического дисплея. Это полученное содержание переносится в общую 3D-сцену, где оно остается пространственно привязанным к точкам зрения камеры. Не требуя дополнительных панорамных-видеопотоков