Компьютерные науки > Машинное обучение [представлено 26 мая 2026 (v1), последний раз пересмотрен 22 октября 2026 года (эта версия, v2)) Название: Can Introduction-Wise Clipping Commitive Spectral Control of Stocastic Gradients? Вид PDF HTML (экспериментальный) Резюме: Нестабильность подготовки, такая как пиковые потери, часто является результатом стохастического градиента шума. Из-за редких выражений в данных языковой подготовки и многослойного состава шумовое воздействие является тяжелым, а его усреднение - мини-батч. Существующие средства борьбы со структурными издержками: вырезка из вектора-нормы игнорирует матричную структуру обновления веса, в то время как спектральная нормализация (например, Muon (Иордания и др., 2024)) обеспечивает ее дополнительные издержки. Мы показываем, что этот компромисс может быть сбалансированным. Реальный градиентный шум, как представляется, аналогичен входному заражению тяжелым хвостом, и анализ возмущения первого порядка показывает наличие локального свойства такого шума, при котором простой метод вводной линии позволяет осуществлять спектральный контроль. Эксплуатация этого, мы вычисляем движущуюся суррогатную для Bayes-optimal-system-main-wister под гауссианским сигналом. Мы установим гарантию конвергенции в $O(\varepsilon {-4} под шумом, заражённым Каучи. Эмпирически мы видим, что гладкий упадок улучшает Адам на предподготовке к NanoGPT, экономив 7% от тренировочных жетонов. Далее мы обнаруживаем, что применение вырезки по принципу входа…
Может ли вхождение-размышление дать спектральный контроль за стохастическими градиентами?
arXiv: 2605.27733v2 Вид уведомления: заменить резюме: Нестабильность подготовки, например пики потерь, часто является результатом стохастического градиента. Из-за редких выражений в данных языковой подготовки и многослойного состава шумовое воздействие является тяжелым, а его усреднение - мини-батч. Существующие средства борьбы со структурными издержками: вырезка из вектора-нормы игнорирует матричную структуру обновления веса, в то время как спектральная нормализация (например, Muon (Иордания и др., 2024)) обеспечивает ее дополнительные издержки. Мы показываем, что этот компромисс может быть сбалансированным. Реальный градиентный шум, как представляется, аналогичен входному заражению тяжелым хвостом, и анализ возмущения первого порядка показывает наличие локального свойства такого шума, при котором простой метод вводной линии позволяет осуществлять спектральный контроль. Эксплуатация этого, мы вычисляем движущуюся суррогатную для Bayes-optimal-system-main-wister под гауссианским сигналом. Мы установим гарантию конвергенции в $O(\varepsilon {-4}
