Реклама

Единая теория конвергенции для адаптивных методов первого порядка в невыпуклом случае, включая AdaNorm, полный и диагональный AdaGrad и Muon

#Единая #AdaNorm #AdaGrad #Muon #Анонс

arXiv:2604.17423v3 Анонс Тип: замена Аннотация: Предложена унифицированная структура для алгоритмов оптимизации первого порядка для невыпуклой неограниченной оптимизации, которая использует адаптивно-предусловленные градиенты и включает в себя популярные методы, такие как полный и диагональный…