Интринсический анализ информации и теоретического анализа сетей ReLU
arXiv: 261 030.36864v1 Annuales Type: New Humber: Compact Information (MI) является основополагающим элементом анализа представления и обучения в глубоких сетях, однако в высоких измерениях оценки ИС зависят от гиперпараметров, отклонение которых часто доминирует над сигналом. Мы показываем, что постоянные сдельные линейные (КПВЛ) сети, включая сети ReLU, принимают свойственный им информационно-теоретический анализ, который избегает этого пассажа: их врожденное разделение входного пространства на выпуклую линейную область присваивает каждому вводу дискретный район маркирование $\Pi$ вместе с постоянным представительством $T$ и лейблом y$. Мы введем разложение общей информации $I(Y;T) долларов на интерпретируемые геометрические термины. Мы показываем, что доминирующий термин — «распределяемая информация» * $I(Y; \Pi) долл. Когда раздел сатурирует, функционально-равноправное соотношение рушится в регионах