Почему геометрическая непрерывность возникает в глубоководных нейронных сетях: остаточные связи и разрыв вращения

arXiv: 2605.049771v2 Annuales Type: заменить перекрестное резюме: Весовые матрицы в глубоких сетях демонстрируют геометрическую преемственность - основные единичные векторы соседних слоев, расположенных в аналогичных направлениях. Несмотря на то, что это имущество было широко зарегистрировано, его происхождение остается необъяснимым. С помощью экспериментов на игрушечных MLP и небольших трансформаторах мы выявляем два механизма: остаточные соединения создают градиентную согласованность между слоями, которая приводит к согласованию изменений веса по слоям, а нелинейность симметрии ограничивает все слои общей системой координат, предотвращая дрейф вращения, который мог бы дестабилизировать структуру массы. Круче всего, нелинейная, но равномерная активация вращения достигает менее половины непрерывности ReLU, изолируя симметрию — - не только нелинеарность -- как активный ингредиент. Активация и нормализация играют различные роли: активация концентрирует преемственность в одном направлении, а нормализация распределяет ее по нескольким направлениям. В