Спатио-временная модель звукового языка для динамических источников звука

arXiv:2606.14141v2 Annuate Type: заменить кросс-бюллетень: Звуковые события имеют семантические идентичности, местоположения и траектории, однако существующие аудиоязычные модели обычно кодируют клипы как глобальное содержание событий. И наоборот, модели звуковой локализации событий отслеживают направление источника во времени, но обеспечивают ограниченное семантическое освещение для языковой аргументации. Для преодоления этого пробела мы введем ST-AudioQA, срапно-временный набор данных QA и эталонные данные, созданные на основе амбисонических (FOA) изображений статических и движущихся источников звука первого порядка. Каждая сцена дает характеристику источника, активность, направление, дистанцию и метаданные движения, что позволяет осуществлять густую траекторию наблюдения и QA о том, где она находится, как она движется и каким образом связаны источники. Далее мы представляем ST-Audio Encoder, который совместно изучает семантику событий и траектории источников времени, а также ST- AudioLM, которые передают эти звуковые символы LLM для Spiono-temporal аудио QA. Эксперименты показывают, что это представление улучшает балан