#Nesterov

2 статьи
arXiv NLP
arXiv NLP

МОНА: " Muon Optimizer with Nesterov Ускорение для подготовки моделей языка, пригодных для использования в больших масштабах &qt;

arXiv: 2605.26842v2 Annuales Type: заменить кросс-бюллетень. Однако, как и все методы первого заказа, Муон может оказаться в ловушке острой местной минимации. В этой работе мы представляем MONA, оптим...

arXiv NLP
1
Читать
arXiv Machine Learning
arXiv Machine Learning

noLoCO: неуменьшенный метод подготовки кадров с низким уровнем связи для крупных моделей

arXiv:2506 10911v2 Annualce Type: заменить резюме: обучение больших языковых моделей обычно проводится на скоплениях, содержащих тысячи ускорителей и общающихся по высокополосному каналу связи. Расшир...

arXiv Machine Learning
Читать