Оригинальное название: Muon with Finite Newton-Schulz: The Smoothing Benefit in Nonsmooth Nonconvex Optimization
arXiv:2608.26288v1 Муон стал сильным оптимизатором для матричных параметров в большой языковой модели предварительной подготовки, примерно ортогонализируя свой импульс с несколькими итерациями Ньютона-Шульца. Существующая теория либо заменяет эту итерацию точным полярным фактором, который она…