Компьютерные науки > Расчеты и язык [представлен 7 сентября 2026 года] Название: MeROTune: RoPE-Safe comping with Tunable Dial View PDF HTML (экспериментальный) резюме: Когда вы сливаетсяе две отточенные модели с одного и того же контрольного пункта, просто усреднев их веса, Вы имплицитно предполагаете, что подпространства для привлечения внимания все еще согласованы. В ходе недавно проведенной работы предпринимаются попытки исправить ошибки путем изучения неперевернутой корректировочной матрицы (в долл. США) для запроса и ключевых прогнозов каждой модели. Это исправление отменяет - использование $M долларов на стороне запроса и $М'T'$ на ключевой стороне - прямо перед продуктом точки. Однако это аннулирование является точным только в том случае, если ничего не находится между проекцией и продуктом точки. В действительности почти все современные модели языка с открытым весом поместили роторное положение (ROPE) именно там. В настоящем документе мы показываем, что эта отмена является точной в рамках ROPE только в том случае и только если $M долл. Мы вычисляем конкретный класс матриц, где он содержится: масштабное вращение независимо от каждой пары частот ROPE. Это является строгим, низкомерным подмножеством неподготовленных матриц, которые в настоящее время обычно тренируются. Основываясь на этом, мы преобразуем этот ограниченный матричный класс в новый метод слияния. При сохранении базовых весов полностью замороженных, два тонких строения каждый получают свои собственные…
MeRoTune: PRO-Safe Слияние с Tunable Dial
arXiv: 2609.079771v1 Annuate Type: New Humber Brieflow: Когда вы объединяете две усовершенствованные модели с одного и того же контрольного пункта, просто усреднев их вес, вы имплицитно предполагаете, что подпространства для привлечения внимания все еще согласованы. В ходе недавно проведенной работы предпринимаются попытки исправить ошибки путем изучения неперевернутой корректировочной матрицы (в долл. США) для запроса и ключевых прогнозов каждой модели. Это исправление отменяет - использование $M долларов на стороне запроса и $М'T'$ на ключевой стороне - прямо перед продуктом точки. Однако это аннулирование является точным только в том случае, если ничего не находится между проекцией и продуктом точки. В действительности почти все современные модели языка с открытым весом поместили роторное положение (ROPE) именно там. В настоящем документе мы показываем, что эта отмена является точной в рамках ROPE только в том случае и только если $M долл. Мы вычисляем конкретный класс матриц, где он содержится: масштабное вращение независимо от каждой пары частот ROPE. Это образует строгий, низкомерный поднабор unco.
