Математика > Оптимизация и контроль [представлена 6 апреля 2026 (v1), последний пересмотренный вариант от 17 октября 2026 года (этот вариант, v3)] Название: Muon Dynamics как спектральная модель потока в Wasserstein View PDF HTML (экспериментальный) резюме: Градиентная нормализация может стабилизировать глубокую оптимизацию обучения, а спектральные нормализации особенно естественны для матрично-образных блоков параметров; Муон является мотивирующим примером. Мы изучаем идеализированную детерминистскую, постоянную и исчезающую версию этой идеи в режиме среднего поля, где широкие модели представлены показателями вероятности пространства параметров. Начиная с нормализованных матричных потоков, мы внедряем дистанции спектральных Вассерштейнов, индексируемые нормами $\gamma$ на позитивные полудефинитные матрицы: норма отслеживания восстанавливает классическое расстояние $W_2 долл. США, норма оператора дает геометрию мюона и нормы Schatten интерполируют между ними. Мы разрабатываем статичную формулу Канторовича, макс.-мин. Для монотонных норм мы доказываем эквивалентность с формулой Бенаму-Бренье и получаем градиентную интерпретацию нормальной средней динамики обучения на местах. Цифровые эксперименты иллюстрируют результирующие потоки для целей MMD, сокращения выбросов в Гауссии, двухслойные модели ReLU и поверхностное внимание. История представления: Габриэль Пейрё [видение электронной почты] [v1] Мон, 6 апреля 2026 17:41:12 UTC (2 941 KB) [ v2] Fri, 8 мая 2026 11: 12.00 UTS (5…
Muon Dynamics как спектральный Вассерштейнский поток
arXiv: 2604.04891v3 Annuales Type: заменить кросс-бюллетень: Градиентная нормализация может стабилизировать глубокую оптимизацию обучения, и спектральная нормализация особенно естественно для матричной формы параметров; Muon является мотивирующим примером. Мы изучаем идеализированную детерминистскую, постоянную и исчезающую версию этой идеи в режиме среднего поля, где широкие модели представлены показателями вероятности пространства параметров. Начиная с нормализованных матричных потоков, мы внедряем дистанции спектральных Вассерштейнов, индексируемые нормами $\gamma$ на позитивные полудефинитные матрицы: норма отслеживания восстанавливает классическое расстояние $W_2 долл. США, норма оператора дает геометрию мюона и нормы Schatten интерполируют между ними. Мы разрабатываем статичную формулу Канторовича, макс.-мин. Для монотонных норм мы доказываем эквивалентность составу Бенама-Бренье и получаем градиентную интерпретацию нормального среднего