Как ортогонализация адаптируется к гессианской структуре сети нейронов? Анализ самостоятельной продукции на начальном этапе

arXiv: 261.20.28975v 1 Annualce Type: новый резюме: Muon orthogonnalising импульс весовой матрицы перед каждым шагом, и на нейронных сетях этот простой кондиционер превзошёл АдамВ в широком круге задач. Существующие анализы объясняют муон в рамках общей оптимизации или по нескольким конкретным моделям, и многие из них рассматривают ортогонализацию как предварительное условие. Поскольку Гессиан является оптимальным кондиционером при квадратном приближении потери, эти работы оставляют открытым основной вопрос: что делает ортогонализацию подходящей для гессенца нервной сети? Предварительные работы показывают, что гессиан по слою нейронной сети доминирует в ряд-блоках диагонально. И имплицитный кондиционер Muon, продукт Kronecker $(\mathbf {V}\matbf_V}#top) {1/2} промежуток времени _mattbf'I} долл. Диагональное доминирование $\mathbf {V}/mattbf(V)_top$ наблюдалось в языковых моделях, но w