Реклама

Спектральное распределение: почему мюон превосходит Адама и как улучшить мюон

#Спектральное #Адама #Ортогональные #Muon #Полученный

arXiv:2608.25990v1 Ортогональные оптимизаторы, такие как Muon, могут существенно ускорить подготовку большой языковой модели относительно Адама, но механизм остается не полностью понятым. Мы исследуем это с помощью спектрального анализа ландшафтов потерь трансформеров. На контрольно-пропускных…