Моделирование тренировочных Спайков глубоких нейронных сетей с помощью моделей, основанных на стратежной модели

arXiv: 2610.13524v1 Аннонс Тип: новое резюме: Прерывистые "пички" в потерях, во время предварительной подготовки моделей большого языка (LMS), остается загадочным явлением как теоретическим, так и эмпирическим. В этом документе мы показываем, что простые квадратные модели с тяжёлыми хвостовыми и распределенными ресурсами силового права могут воспроизводить эти пики. Мы внедряем теоретическую основу и алгоритм моделирования для модели динамики обучения на каждый слоёв, используя такие квадратные модели. В тематическом исследовании на конфигурации гиперпараметра Адама (где $\beta_2 долл. Кроме того, мы получаем соответствующий график в размере $\beta_2 долл. на основе наблюдаемых параметров, которые эмпирически повышают эффективность работы.