Спектральное распределение: почему мюон превосходит Адама и как улучшить мюон
arXiv:2608.25990v1 Ортогональные оптимизаторы, такие как Muon, могут существенно ускорить подготовку большой языковой модели относительно Адама, но механизм остается не полностью понятым. Мы исследуем это с помощью спектрального анализа ландшафтов потерь трансформеров. На контрольно-пропускных…