arXiv:2610.34158v1 Тип уведомления: новое резюме: Мюон добился высоких эмпирических результатов в широкомасштабной языково-модели, что стимулирует более глубокое теоретическое понимание ее практическо...
arXiv: 2605.27733v2 Вид уведомления: заменить резюме: Нестабильность подготовки, например пики потерь, часто является результатом стохастического градиента. Из-за редких выражений в данных языковой по...
arXiv: 261.20.28975v 1 Annualce Type: новый резюме: Muon orthogonnalising импульс весовой матрицы перед каждым шагом, и на нейронных сетях этот простой кондиционер превзошёл АдамВ в широком круге зада...
arXiv: 2610.26742v1 Annulce Type: кросс-бюллетень: Muon, рождённый оптимизатор языковых моделей 2024 года, отличается от спектрального спуска 2015 года главным образом в его быстротечном, удобном для ...
arXiv: 2604.04891v3 Annuales Type: заменить кросс-бюллетень: Градиентная нормализация может стабилизировать глубокую оптимизацию обучения, и спектральная нормализация особенно естественно для матрично...
arXiv:2605.18106v5 Вид уведомления: заменить кросс-бюллетень: в практике глубокого обучения уже давно сохраняется поразительное несоответствие геометрических параметров. В то время как современные ней...
arXiv:2610.19844v1 Annualce Type: New Humealth-Safective Impactive ( " Новый обзор: оптимизация памяти и подпространственная оптимистика > ) появился в качестве практического подхода к снижению стоимо...
arXiv: 261 010.19064v1 Тема, представляющая значительный интерес для типового описания: новое резюме: подготовка крупных языковых моделей (LMS) в рамках географически распространенных и плохо взаимосв...
arXiv: 2610,07497v 1 Annuales Type: кросс-бюллетень: Muon сочетает нынешние и прошлые градиенты в матричный импульс. За $M=U\Sigma V\top долл., идеализированный полярный обновления $Q = UV_TOP$ дает к...
arXiv: 2610,07103v1 Annualce Type: New Humber: Muon, оптимизирующийся орган, известный своей эффективностью, имеет четкую интерпретацию для матричной оценки обновления, но ядра слияний хранятся в каче...
arXiv: 2610,04140v1 Вид уведомления: новое резюме: модели языков смешения экспертов (МОС) посылают каждый символ нескольким экспертам, поэтому каждый эксперт проходит подготовку по различным аспектам ...
arXiv:2609 36240v1 Тип уведомления: перекрестное резюме: Прекращается ли обучение по вопросам представительства, когда потери в области профессиональной подготовки прекращаются? Мы изучаем этот вопрос...
arXiv: 26009.34915v1 Annualce Type: New Brieflow: Muon все чаще используется для языковой предварительной подготовки, однако его масштабная динамика не отражается классической картиной спуска (GD) на ...
arXiv:2609.33152v1 Annuate Type: New Humber: Muon становится многообещающей альтернативой AdamW для подготовки кадров по крупным нейронным сетям, однако теоретическое понимание ее практического примен...
arXiv: 26009.32861v1 Annuale Type: новый резюме: Muon заменяет импульсный буфер каждой весовой матрицы своим ортогональным полярным коэффициентом. Мы спрашиваем, что делает эта ортогонализация около о...
arXiv: 26009,30546v1 Annuate Type: кросс-бюллетень: В настоящем документе мы установим первые асимптотические гарантии конвергенции для алгоритма Муона с помощью более точного опосредованного показате...
arXiv: 2605.26842v2 Annuales Type: заменить кросс-бюллетень. Однако, как и все методы первого заказа, Муон может оказаться в ловушке острой местной минимации. В этой работе мы представляем MONA, оптим...
arXiv: 2609.24678v1 Аннонс Тип: перекрестное резюме: Постоянное обучение с адаптационными устройствами с низким уровнем Rank (LoRA), как правило, смягчает забвение путем наказания дублирования между н...
arXiv: 2609.17759v1 Annualce Type: crectraview: Muon обновляет параметры нейронной сети с помощью ортогонализации матрицы импульса на основе градиента. Его зависимость от производных средств ограничив...
arXiv:2609.17575v1 Вид уведомления: новое резюме: сведение к минимуму масштабов опасности (САМ) в два раза увеличивает стоимость каждого этапа обучения, однако его преимущества концентрируются на том ...