Обучаемые спектральные активации

arXiv: 2610,07419v 1 Annuales Type: New Humbrie: Имплицитные нейронные представления (INRs) формируются спектральной структурой, вызванной их вводимыми кодами и функциями активации. Существующие методы улучшают оснащение, главным образом путем изменения частот, имеющихся в сети, посредством кодирования координат или периодических нелинейных параметров. Однако доступ к частотам является не единственным узким местом: сигналы с локальной или пространственной структурой требуют от сети эффективного объединения частоты в многогармонические внутренние реакции. Мы введем изучаемые спектральные активации (LSA), которые заменяют фиксированный нейронный уровень нелинейности остаточной усеченной сеткой Fourier, гармонические амплитуды которой изучаются во время тренировки. LSA не расширяет класс асимптотической функции. Вместо этого он изменяет факторизацию представления: линейные весы выбирают особенности, в то время как коэффициенты активации контролируют спектральное формирование, и оба эти значения обновляются с помощью отдельных градиентов. Потому что