Нелинейная прямая регулировка обратной связи для подготовки без скользящего прокачки

arXiv: 2610.36718v1 Annualce Type: New Humber: Backprogragation (BP) остается доминирующим алгоритмом для обучения глубоких нейронных сетей, но он биологически неправдоподобный и страдает от проблемы запирания назад, сдерживая параллелизацию между слоями. В качестве многообещающей альтернативы для устранения этих ограничений появилась прямая регулировка обратной связи~ (DFA), которая распространяет глобальную погрешность выхода непосредственно на каждый скрытый слой через фиксированные матрицы обратной связи. Вместе с тем сохраняется значительный разрыв в показателях работы между ДФА и BP, который мы относим к ограниченной способности фиксированных матриц обратной связи фиксировать нелинейное преобразование от скрытого представления до вывода сети. Для устранения этого ограничения мы предлагаем нелинейную систему прямой обратной связи (NDFA), которая создает каждую скрытую обратную связь, используя легкую подсеть-нелинийный суррогат. Для повышения эффективности обратной связи в ходе подготовки мы предлагаем также стратегию обучения для обновления санитара