Гибридные методы оптимизации моделей глубокого обучения

arXiv: 261 020.27674v2 Annuales Type: заменить резюме: Момент имеет ключевое значение для стохастической оптимизации глубокого обучения, включая подготовку крупных языковых моделей. Классические методы ускорения обычно опираются на быстро меняющуюся в экспоненциальном отношении среднюю схему (ЕМА), которая позволяет скидывать прошлые градиенты при фиксированном графике и может понизить вес старых градиентов, которые остаются информативными. Это создает компромисс между сохранением долгосрочной истории и адаптацией к недавним изменениям. Мы введем Hybrid Mementum (HyM), который сочетает линейно взвешенный средний градиент прошлого с геометрической дисконтированной быстрой скоростью. Первые присваивают веса, пропорциональные индексам итерации градиентов, и сохраняют все большую историю, в то время как последние подчеркивают недавние градии. Эта гибридная конструкция является модульной и может сочетаться с адаптивным предварительным кондиционированием и другими преобразованиями, касающимися обновления. В частности, мы предлагаем HyMUON, который применяется к Ньютону - Шульц ортогонализация в гибридном направлении. Иллю