Реклама

Масштабирование мюона для диффузионных трансформаторов

#Масштабирование #Анонс #Осознающий #Muon #Сначала

arXiv:2608.20818v1 Анонс Тип: кросс-абстракт: Осознающий матрицу оптимизатор Muon улучшает обучение больших моделей, уравновешивая обновления по отдельным направлениям, но его масштабирование и сквозная эффективность на больших диффузионных трансформаторах (DiT) остаются неясными. Сначала мы…