Оптимизация синглулярного спектрального эффекта для большой языковой модели сжатия

arXiv: 2502,15092v2 Annuales Type: заменить резюме: Большие языковые модели (LMS) продемонстрировали замечательные возможности, однако непомерная сложность параметров часто препятствует их внедрению. Существующие методы сжатия, основанные на разложении с использованием единичных значений (СВОД), просто рассматривают единственные значения в качестве важных показателей декомбинированных компонентов. Однако это значение, определяемое с помощью единичных значений, не всегда соотносится с выполнением задачи по нисходящей линии. В этой работе мы внедряем SoCO (компрессионную оптимизацию синглулярного спектра для большой языковой модели компрессии), новую систему сжатия, которая учится перерасчету разложенных компонентов SVD на основе данных. Конкретно, мы используем изучаемую диагональную матрицу для придания значения баллов для особого спектра и разработки трехэтапного учебного процесса, который постепенно улучшит эти оценки от первоначального резкого сжатия до мелкозернового спарразификации путем установления эффективного баланса между агрессивным давлением модели a