Расширение масштабов и нормализация в нейронных сетях: описание эффективной ренормализации - группа

arXiv:2610.36113v1 Annualce Type: New Humbrie: Grokking — это отсроченный переход от запоминания к обобщению в глубоких нейронных сетях (NN). Мы изучаем вопрос о том, могут ли теории групп по масштабированию и ренормализации (РГ) описать эту динамику, создав количественную физическую основу для нейронных обобщений. В случае модульного добавления на двухслойном NN набор подготовленных моделей определяет параметр порядка (норма массы квадратов) и колебания теплоемкости и восприимчивости, причем эпоха подготовки и разложение веса служат в качестве координат температурного и полевого контроля. Чтобы связать нейронные архитектуры с реальным пространством RG, мы составляем точную матрицу сцепления через второй порядок расширения потерь по отношению к нормам на каждого неврона и используем свой вектор Фидлера для определения эффективной геометрии. Этот спектральный порядок приводит к монотонному пространственному распаду прочности сцепления, который отсутствует при случайных перестановках. Затем мы выполняем действительный RG с помощью блок-пень агрега