Компьютерные науки > Машинное обучение [представлено 27 октября 2026 года] Название: Effice Quantization Training with Stocastic Rounding с помощью структурированного подпространственного вида Randomness View PDF HTML (экспериментальное) Резюме: Для сохранения беспристрастности квантизированных градиентов и предотвращения округления небольших обновлений до нуля часто используется метод узкой точности. Стандартная SR устанавливает независимый случайный порог для каждого градиента. Однако, ускорители создают случайные числа на векторных единицах, чьи пропуски значительно отстают от их матричных единиц. На основе одного порогового значения на каждый элемент вектор сатурирует блок и может сделать подготовку INT8 более медленной, чем обучение BF16. Разделение случайных пороговых значений между элементами tensor устраняет эту стоимость, но заставляет эти элементы округлять в одном направлении и изменять свои ошибки округления путем общей компенсации. Мы видим, что эта компенсация снижает уровень подготовки главным образом благодаря градиенту активации, который распространяет ошибку обратно на более ранние слои. Поскольку ранние слои не могут отменить входную скидку, используя свои собственные локальные ошибки округления, смещение должно быть удалено на уровне, где оно происходит. Мы предлагаем структурированное подпространственное Стохастическое круглое (S3R), которое квантизирует каждый градиент вверх по течению один раз для умножения как активации, так и градиентов веса и делит…
Эффективное количественное обучение со стохастической округлением через структурированную подпространственность
arXiv: 261 030.36587v 1 Annualte Type: New Hightreat: Plain-pression: Низкоточные тренировки часто полагаются на стохастическое округление (SR) для обеспечения беспристрастности квантизированных градиентов и предотвращения того, чтобы небольшие обновления округлялись до нуля. Стандартная SR устанавливает независимый случайный порог для каждого градиента. Однако, ускорители создают случайные числа на векторных единицах, чьи пропуски значительно отстают от их матричных единиц. На основе одного порогового значения на каждый элемент вектор сатурирует блок и может сделать подготовку INT8 более медленной, чем обучение BF16. Разделение случайных пороговых значений между элементами tensor устраняет эту стоимость, но заставляет эти элементы округлять в одном направлении и изменять свои ошибки округления путем общей компенсации. Мы видим, что эта компенсация снижает уровень подготовки главным образом благодаря градиенту активации, который распространяет ошибку обратно на более ранние слои. Поскольку ранние слои не могут отменить входную скидку, используя свои собственные локальные ошибки округления, смещение должно быть удалено на уровне, где оно происходит. Мы предлагаем