Взгляните на математику OpenAI.

Привет, читатели Аргмин! В настоящее время в посте изучается часть математического хранилища OpenAI. В нем утверждается, что он вычисляет более быстрые преобразования Фурье. Это более техническое, чем обычно, но я попытался добавить некоторые учебные материалы для людей, которым нужен курс переподготовки по обработке сигналов или вычислительной сложности. Быстрая трансформация Фурье - одна из самых важных инноваций в цифровой обработке сигналов и один из моих любимых алгоритмов. FFT - это быстрый способ извлечения частотного содержания сигналов, позволяющий быстро анализировать, фильтровать и манипулировать частотами в различных диапазонах спектра. Fourier преобразует энергию в каждой полосе частот с помощью простого продукта точки 1. Пусть x обозначает ваш вход, длину n массива образцов и f частоту. Тогда количество частотного содержания в x на f может быть рассчитано формулой: для цифровых сигналов, кое-какая математика показывает, что вам нужно вычислить только n из этих точечных продуктов, по одному с каждой кратной частоте, чтобы понять все содержание частоты. В целом это требует умножения n и добавления для каждой частоты. Таким образом, вычисление всего преобразования Фурье требует арифметических операций n2. Основная идея заключается в том, что процесс преобразования Fourier может быть рассчитан с помощью перемешивания вводного вектора, вычисления двух фортье трансформаций длины n/2 на перевернутых компонентах и последующей рекомбинации выходов при помощи атомных…