#AdamW

5 статей
arXiv Machine Learning
arXiv Machine Learning

Одного коэффициента недостаточно: адаптивные показатели анизотропного обучения для LORA

arXiv: 2609.05885v1 Тип уведомления: новое резюме: адаптация на низкоуровневом уровне (LoRA) стала стандартом для эффективной настройки параметров крупных языковых моделей. Большинство вариантов LORA ...

arXiv Machine Learning
Читать
arXiv Machine Learning
arXiv Machine Learning

Скорость конвергенции для оптимизатора RMSprop с полным контролем гиперпараметров

arXiv:2608.30382v1 Популярные методы адаптивного стохастического градиентного спуска (SGD) для обучения систем искусственного интеллекта (ИИ) включают оптимизаторы RMSprop, Adam и AdamW, где части ада...

arXiv Machine Learning
2
Читать
arXiv Machine Learning
arXiv Machine Learning

Устойчивое децентрализованное беспроводное федерированное обучение с помощью градиентного отслеживания с помощью AdamW

arXiv:2608.25535v1 Анонс Тип: новый Абстракт: беспроводные сети Интернета вещей (IoT) требуют децентрализованных методов обучения (DecL), которые могут надежно работать как под гетерогенными локальным...

arXiv Machine Learning
4
Читать
arXiv Machine Learning
arXiv Machine Learning

Отсроченный оптимизатор государственных транспортных форм короткого оризонтного обучения

arXiv:2608.24593v1 Адаптивные оптимизаторы сохраняют градиентную историю в переменных момента, позволяя локальному изменению веса потери изменять более поздние обновления. Мы изучаем, достаточно ли ве...

arXiv Machine Learning
3
Читать
arXiv Machine Learning
arXiv Machine Learning

За пределами плотных состояний Адама: адаптивная квантизация лог-пространства для оптимизации памяти

arXiv:2608.22322v1 Новые методы низкоточного оптимизатора состояния обычно предназначены для плотных моментов в стиле Адама, но оптимизаторы с эффективностью памяти поддерживают факторные, основанные ...

arXiv Machine Learning
3
Читать