Компьютерные науки > Машинное обучение [представлено 26 мая 2023 (v1), последний пересмотренный вариант 16 сентября 2026 года (эта версия, v5)] Название: " Генерирование Адама до Манифоллов для эффективной подготовки трансформаторов Взгляд PDF HTML (экспериментальное) резюме: одной из главных причин успеха нейронных сетей является появление ряда новых высокоуспешных оптимизирующихся машин, возможно, что самое главное - оптимизирователь Адам. Он широко используется для подготовки нейронных сетей, но его трудно интерпретировать. Не имея ясной физической интуиции, Адама трудно обобщать до коллекторов. Некоторые попытки были предприняты для прямого применения частей алгоритма Адама к коллекторам или поиска основной структуры, но полная обобщенность по-прежнему остается труднодостижимой. В этой работе представлен новый подход, позволяющий использовать особую структуру коллекторов, которые имеют значение для оптимизации нейронных сетей, таких как трубчатый коллектор, симплектный styfel коллектор и грасманнский коллектор: все они представляют собой однородные пространства и в качестве таковых допускают глобальное тангенсное пространственное представление. Это общее векторное пространство, часто называемое подпространством Лии, которое делает возможным обобщение всех ступенек в Адамском оптимизаторе (а также других оптимизирователей). Таким образом, можно распространить оптимизатор Адама на коллекторы без проекционного шага, чего-то невозможного раньше. Полученный алгоритм…
Обобщение Адама до Манифоллов для эффективной подготовки трансформаторов
arXiv:2305.16901v5 Annualce Type: заменить резюме: одной из главных причин успеха нейронных сетей было появление целого ряда новых, весьма успешных оптимизирующих устройств, возможно, что самое главное - это оптимизирователь Адама. Он широко используется для подготовки нейронных сетей, но его трудно интерпретировать. Не имея ясной физической интуиции, Адама трудно обобщать до коллекторов. Некоторые попытки были предприняты для прямого применения частей алгоритма Адама к коллекторам или поиска основной структуры, но полная обобщенность по-прежнему остается труднодостижимой. В этой работе представлен новый подход, позволяющий использовать особую структуру коллекторов, которые имеют значение для оптимизации нейронных сетей, таких как трубчатый коллектор, симплектный styfel коллектор и грасманнский коллектор: все они представляют собой однородные пространства и в качестве таковых допускают глобальное тангенсное пространственное представление. Это общее векторное пространство, часто называемое подпространством Лии.