Разработка правил, касающихся передовых методов обучения: подходы, концепции и обновления

arXiv: 25009.18396v2 Annuales Type: заменить резюме: Дип обучающие оптимизаторы - алгоритмы оптимизации, которые позволяют глубоко нейронным сетям учиться. Эффективность обучения в значительной степени зависит от того, насколько оптимизируется процесс профессиональной подготовки. Наряду с быстрым развитием глубокого обучения был разработан широкий круг оптимизирователей, использующих различные подходы. Цель этого исследования состоит в том, чтобы провести обзор различных оптимизирователей, которые были предложены и которым было уделено внимание в литературе. От стохастического градиентного спуска до самых последних, таких как Momentum, AdamW, Sophia и Muon в хронологическом порядке, оптимизаторы изучаются индивидуально, а их отличительные особенности выделены в исследовании. Правило обновления каждого оптимизатора подробно представлено с разъяснением соответствующих концепций и переменных. Обсуждаются также методы, применяемые этими оптимизаторами, их вклад в процесс оптимизации и параметры по умолчанию гиперпараметров. Добавить