Реклама

Отсроченный оптимизатор государственных транспортных форм короткого оризонтного обучения

#Отсроченный #Адаптивные #AdamW #Трансформаторные #Пересеченные

arXiv:2608.24593v1 Адаптивные оптимизаторы сохраняют градиентную историю в переменных момента, позволяя локальному изменению веса потери изменять более поздние обновления. Мы изучаем, достаточно ли велика эта задержка с транспортировкой, чтобы изменить перспективные решения по краткосрочным…