Привет, Хабр! Меня зовут Никита Кузнецов, я студент мастерской по сервисам и платформам ИИ Инженерно-математической школы НИУ ВШЭ и VK. Хочу поделиться историей и техническими подробностями нашего проекта FastWave, который был реализован под руководством Максима Каледина, доцента ФКН НИУ ВШЭ, и Александра Тараканова, исследователя AI VK и доцента ФКН НИУ ВШЭ. Мы разработали лёгкую диффузионную модель для восстановления высокочастотных деталей звука (BWE, Bandwidth Extension). Она повышает частоту дискретизации любого аудио до студийных 48 кГц, весит всего 1,3M параметров и быстро работает.
Постановка задачи
General Audio Super-Resolution (ASR), или Bandwidth Extension (BWE) — это набор методов, направленных на высококачественную оценку заданного сигнала, как если бы он был дискретизирован с более высокой частотой. Среди BWE-методов есть модели диффузии и потока (считаются более медленными) и генеративно-состязательные сети (считаются более быстрыми). Оба метода представлены высокопараметрическими сетями, требующими высоких вычислительных затрат как на обучение, так и на вывод.
Для решения этих проблем мы переосмыслили последние достижения в обучении моделей диффузии и применили их к сверхразрешению с любой частотой дискретизации до 48 кГц. Наш подход показывает результаты лучше, чем у NU-Wave 2, и сопоставим с моделями SOTA.
