WorldSonus: Приносит звук в миры
arXiv: 2610,08760v1 Annuate Type: кросс-бюллетень: Последние достижения в мировых моделях позволили сделать все более реалистичный визуальный синтез. Однако эти генерируемые среды в основном остаются тихими. Привнесение звука в мировые модели ставит три основные задачи: формирование в режиме реального времени для того, чтобы успевать за интерактивными потоками видеоматериалов, интерактивный контроль для реагирования на инструкции по среднему течению звука и пространственное согласование стереосистем для отражения геометрии сцены и движения камер. Для удовлетворения этих потребностей мы представляем WorldSonus, интерактивную систему видео- и аудиопродукции для пространственного синтеза в реальном масштабе времени в мировых моделях. В режиме реального времени WorldSonus использует вращающуюся причинно-следственную архитектуру распространения, которая синтезирует звуковые кусочки с низким коэффициентом реального времени (RTF) 0,41. Для интерактивного контроля мы включаем аудиоцентрический субтитровый трубопровод с кусочком индексированного оперативного графика, что позволяет осуществлять динамическую манипулирование звуковыми событиями во время поколения. Для пространственного согласования мы выбираем
