Полярный переключатель: быстрая мюонская ортогональизация с полиномическими цепями
arXiv: 2610.26742v1 Annulce Type: кросс-бюллетень: Muon, рождённый оптимизатор языковых моделей 2024 года, отличается от спектрального спуска 2015 года главным образом в его быстротечном, удобном для GPU Ньютона - Шульца полиномиале для ортогонализации градиентной матрицы. В связи с этим в рамках одного из направлений исследований предлагаются более быстрые полиномиальные итерации для градиентной ортогонализации, такие как Полярный Экспресс и Грам Ньютон - Шульц, которые строятся на квинтальных полиномиях. В этом документе мы представляем Полярный переключатель, новый подход к полиномиальной градиентной ортогонализации. Используя простые полиномные схемы, Полярный переключатель достигает высокого уровня политомии при более низкой стоимости FLOP, чем квинтальные итерации. Мы определяем цепь как короткую последовательность симметричных матричных продуктов на нескольких квадратных буферах, и цепи с продуктами в долларах США образуют ограниченное семейство странных полиномиалов степени до 2 {k+1} + 1 долл. Мы выбираем последовательность продуктов в каждой цепи, их коэффициенты и то, как цепочки составляются путем сокращения числа w