DEAF: Контрольный параметр для диагностической оценки акустической достоверности в моделях аудиоязыков

arXiv:2603.18048v3 Annuales Type: заменить резюме: последние модели громкого звука (Audio MLLM) демонстрируют впечатляющие результаты в отношении контрольных параметров речи, однако остается неясным, действительно ли эти модели обрабатывают акустические сигналы или полагаются на текстовые семантические выводы. Для систематического изучения этого вопроса мы введем DEAF (Диагнозная оценка акустической верности), которая представляет собой контрольный показатель, охватывающий более 2700 стимулов к конфликту, охватывающих три акустических измерения: эмоциональный прозоид, фоновые звуки и индивидуальность ораторов. Затем мы проектируем контролируемую многоуровневную систему оценки, которая постепенно увеличивает текстовое влияние - от семантических конфликтов в содержании до вводящих в заблуждение сигналов и их сочетания, что позволяет нам отделить отклонение, обусловленное содержанием, от быстро вызванной сикофентности. Мы далее введем диагностические метрики для количественной оценки зависимости модели от текстовых сигналов над акустическими сигналами. Наша оценка семи Audio MLLMS показывает последовательную схему текста domi