FloorSAV: Разъяснение пространственного аудио-визуального контекста с 2D картой этажа для AV-LMM
arXiv:2610.113101 Annualce Type: New Brieft: Хотя 3D пространственное обоснование в динамичной эгоцентрической среде имеет решающее значение для воплощения интеллекта, аудиовизуальные крупные языковые модели (AV-LMS) не имеют четких механизмов обработки и интернализации глобальной геометрии непосредственно из первичных сенсорных потоков. Существующие подходы либо требуют дорогостоящей доработки, либо недоиспользуют возможности модели в плане интермодальных рассуждений. В этом документе мы предлагаем FlowSAV — новую систему, которая четко определяет пространственный аудиовизуальный контекст путем создания динамической 2D-карты этажа. Интегрируя 3D-точечные облака, траектории камер, пространственные звуковые сигналы и семантически заземленные достопримечательности объектов, мы вводим эту карту пола в AV-LM как синхронизированный поток с эгоцентрическим видео. AV-LMS используют свои мультимодальные возможности для совместного анализа визуальных, слуховых и геометрических сигналов в одном выводе с руководством по интерпретации карты пола. Далее мы представляем SAVED-Bench (Space Audio- Visual Egocic Ben)
