Tap2Listen: мгновенный переключатель целей для скрипки звуко-визуальной вытяжки
arXiv: 2610.36643v 1 Annuales Type: кросс-бюллетень: Выведение звукозаписывающего звука (AV-TSE) использует лицо докладчика для извлечения речи оратора из вводной аудио смеси в режиме реального времени. Вместе с тем существующие системы устанавливают адресный оратор для целой клипа, в то время как разговор требует частых и непосредственных переключателей цели. Для решения этой проблемы мы предлагаем Tap2Listen, трансляционную модель AV-TSE, предназначенную для мгновенной реакции на целевые переключатели. Модель отделяет вычисления по методу: целевые-агнотические аудиокодер обрабатывают только смесь, в то время как конкретные мишени визуальные сигналы выбранного состояния лица - лишь дешифратор. Переключатель требует перепрогнозирования только на 0,12 мс и вступает в силу немедленно. Мы также проектируем потери по компонентам: прогнозируем потерю энкодера и контролируемую потерю экстракции дешифратора. Для оценки мы измеряем, как быстро после переключения восстанавливается качество выпуска. На стандартном наборе испытаний LRS3-2mix Tap2Listen улучшает SI-