Обобщение параметров PAC-Bayes для глубоких нейронных сетей с помощью процессов Дирихлет
arXiv: 2610.21340v1 Annualce Type: New Humber: Classical PAC-Baeesian Generalization Treaties распределяет предварительное распределение по Эвклидовому параметру $\Theta /subseteq_mathbb {R}D$, вызывая относительное энтропию в масштабе с сетевым размером $D. Для современных перепараметризированных нейронных сетей, где $D ·g n$, этот параметр подсчёт зависимости дает незаметные границы обобщения (> 1 {,}000\% долларов). В этой работе мы урегулируем этот барьер, переместив предварительную спецификацию с внутренних параметров на непараметрическое пространство распределения данных $\mathcal {M}_1(\mattcal {Z}$ через #textbf {Drichlet Process (DP)}, $ промежуток времени {Alpha, F=0 долл. США, вызывая распределение параметров посредством мер подталкивания вперед в рамках алгоритма обучения. По неравноправию обработки данных относительная энтропия параметров и пространства строго ограничивается расхождениями между данными и пространством DP, которые мы оцениваем в точно закрытой форме с использованием функций Digamma. Полученный в результате сертификат PAC-Baezian является строго инвариантным для сетевого параметра c