МУОНГС: Предварительная подготовка МЛМ с помощью системы контроля за весом/нормой

arXiv: 261 0373647v1 Annuales Type: New Brieft: Whis drougning and excent-norm continutions for language Model pretraining, однако единое понимание того, почему такой контроль помогает и сколько требуется, остается неполным. Мы анализируем нормальный контроль в Мюоне на всей траектории обучения с использованием \emph {накопленной эффективной скорости обучения}, $C_T=#сумму_ {t>Т}/Пета_т/\Вт _т_Ф долл. США, где $\eta_t$ представляет собой номинальную скорость обучения и $$eta _t/\W_t\_F$ — эффективный коэффициент обучения по отношению к норме веса. Для ограниченных направлений обновления аккумулирование в любой период подготовки ограничивает относительное смещение веса. Мы показываем, что ванильный мюон может накапливать только логарифмически, потенциально ограничивая разведку и помогая объяснить ее медленный эмпирический прогресс, тогда как MuonW и moonsH гарантируют хотя бы линейное накопление при указанных условиях. Переходя за рамки контроля над нормой, мы показываем, что достаточно медленный рост нормы гарантирует более быстрое накопление, чем