Музек: momentUm Spectral Clipping для обучения по типу Stable Muon
arXiv: 2609.11655v1 Annualce Type: New Humber Abstract: Muon стал высокоэффективным оптимистом для обучения большой языковой модели, часто достигая более высокой конвергенции и эффективности по сравнению с широко принятыми оптимизирователями Адама и Адама. Тем не менее, Муон подвержен…