Корреляционное обучение морфологических нервных сетей

arXiv: 2610.11740v1 Annuature Type: New Habrial: Neural Network обычно обучаются с использованием методов первого заказа и обратной промоутации. Неясно, является ли такой подход оптимальным для морфологических слоев, вес которых якобийцев невелик и градиент параметров в результате которого может быть низким. В этой работе мы предлагаем новый метод обновления веса для морфологических нейронных сетей, основанный на системе мультипликативного обновления весов (MWU). Мы рассматриваем каждый морфологический перцетрон как пример изучения проблемы с консультированием экспертов в логарифмическом пространстве и используем корреляционную награду, которая благоприятствует вводу данных, согласующихся с желаемыми изменениями выходных данных независимо от того, достиг ли мощный градиентный сигнал их веса. Мы эмпирически оцениваем наш подход путем обучения полностью подсоединенных слоев как в качестве отдельных моделей, так и компонентов более крупных трансформационных сетей. В рамках девяти контрольных показателей корреляционное обучение позволяет улучшиться на 8, т.е. до 32,84 процентного пункта, в то время как в субстанти