Компьютерные науки > Машинное обучение [представлено 16 февраля 2026 года v1), последнее пересмотренное 27 октября 2026 (эта версия, v3)] Название: КОМПОТ: Калибровка-оптимизация матричных прокрусов Ортогонализации для трансформаторов компрессионный взгляд PDF HTML (экспериментальное) резюме: Постучная компоновка моделей трансформатора обычно опирается на стратегии разложения в кратных единицах единичных значений (SVD), ведущие к низшим приближениям первоначальных весов модели. Вместе с тем, основанная на едином совместном моделировании подпространственная модель может ухудшить точность даже при умеренном сжатии. Обучение в словарях Sparse обеспечивает более гибкое представление союза субпространств, но существующие подходы часто страдают от дорогостоящих итеративных словесных статей и обновления коэффициентов. Мы предлагаем доллар США ($textbf {C} $alibration-$teхtsbf[O},$ptimimod $\extb f'M}'atrix $_текстбф'P}$rocrustites $tembf(О) mutthogonalization для $terstexbf'T}$ransformers), безудержную систему сжатия, в которой используется небольшой набор калибровочных данных для оценки незначительной факторизации веса. В КОМПОТ используются ортогональные словари, которые позволяют обновлять в закрытом формате Прокрости для словаря и аналитическое одноэтапное узкое кодирование коэффициентов, что значительно снижает общие затраты на оптимизацию. Для решения проблемы чувствительности к разнородному слою в рамках глобального бюджета на цели сжатия КОМПОТ далее вводит одноразовую…
КОМПОТ: калиброванная матрица Прокрусты Ортогонализация трансформаторов
arXiv:2602.15200v3 Annualce Type: заменить резюме: послеучебное сжатие моделей трансформаторов, как правило, опирается на стратегии сокращения единичного значения разложения (SVD), ведущие к приближению значений первоначальной модели с низким уровнем. Вместе с тем, основанная на едином совместном моделировании подпространственная модель может ухудшить точность даже при умеренном сжатии. Обучение в словарях Sparse обеспечивает более гибкое представление союза субпространств, но существующие подходы часто страдают от дорогостоящих итеративных словесных статей и обновления коэффициентов. Мы предлагаем доллар США ($textbf {C} $alibration-$teхtsbf[O},$ptimimod $\extb f'M}'atrix $_текстбф'P}$rocrustites $tembf(О) mutthogonalization для $terstexbf'T}$ransformers), безудержную систему сжатия, в которой используется небольшой набор калибровочных данных для оценки незначительной факторизации веса. В КОМПОТ используются ортогональные словари, которые позволяют обновлять в закрытом формате Прокрости для словаря и аналитическое одноэтапное узкое кодирование коэффициентов, уменьшая число сигнатов