Спектральное уменьшение веса: создание структуры с низким уровнем риска в нейросетях
arXiv: 2610.11730v1 Аннонс Тип: новое резюме: Стандартный вес распада рассматривает каждую весовую матрицу как вектор и игнорирует спектральную структуру. Мы введем спектральный срыв веса, постступенчатое обновление ядерной нормы, которое будет применяться не мультипликативное спектральное сокращение, а добавок. Мы связываем обновление с приблизительным проксимальным спуском и показываем, что его чувствительность к порядку обновления может превысить обычный упадок веса $ell_2 долл. рядом с дефицитом ранга. В рамках моделей LLAMA с параметрами от 124 до 500 млн. долл. США спектральное разложение веса снижает эффективный рейтинг и улучшает сжатие SVD-LM при соответствующей потере подтверждения. В размере 500 млн. долл. США и в объеме 4% от бюджета на искажение данных он достигает 1,89 долларов по времени и 1,18 доллара по времени, что позволяет сделать вывод об ускорении роста GPU по сравнению с 1,14 цента за час и $1,01 промилле после обычного падения веса. В рамках подготовки по вопросам фиксированного горзона с шумом в размере 60 долл. США на уровне%, она также повышает конечный средний уровень точности чистых испытаний над соответствующей нормализацией до 17,8 млн. долларов на MNIST и 4,6 долл.
