Пара-гауссийские притязания на случайные глубокие нейронные сети

arXiv: 261 030.37388v 1 Annuates Type: New Brieflow: Известно, что случайные инициированные нейронные сети ведут себя в пределах от n\ до intty$. К сожалению, это приближение может быть плохим для конечных долларов в долл. США и становится еще хуже по мере того, как один из них проникает глубже в сеть. В этой работе мы разрабатываем более точное приближение, которое является негауссианским, называемое пара-Гауссийским распределением и построено из гермитских полиномиальных. Мы показываем, как это пара-гауссианское приближение может привести к практическому рекурсивному методу для приближения более глубоких слоев сети. И наконец, мы применяем эту теорию к линейным нейронным сетям (где вещи могут быть точно разрешены) и к реLU нейросетям (где их можно приблизить).