Реклама

Принцип симметрии-сопоставимости для проектирования оптимизирующих устройств: установки, голова LM, MLP SwiGLU и маршруты МОС

#Принцип #SwiGLU #Адам #Следуя #Muon

arXiv:2605.18106v5 Вид уведомления: заменить кросс-бюллетень: в практике глубокого обучения уже давно сохраняется поразительное несоответствие геометрических параметров. В то время как современные нейронные сетевые архитектуры, естественно, обладают богатыми свойствами симметрии и равномерности,…