Масштабирование мюона для диффузионных трансформаторов
arXiv:2608.20818v1 Анонс Тип: кросс-абстракт: Осознающий матрицу оптимизатор Muon улучшает обучение больших моделей, уравновешивая обновления по отдельным направлениям, но его масштабирование и сквозная эффективность на больших диффузионных трансформаторах (DiT) остаются неясными. Сначала мы…