Дефлирование Гессианского: рейтинг 4 W4A4, количественная оценка мультимодальных диффузионных трансформаторов

arXiv: 261.10.11315v1 Аннонс Тип: новое резюме: " Индиффузионные трансформаторы, ветки низкого ранга могут уменьшить 4-битную потерю веса - активацию (W4A4) после прохождения подготовки квантизации (PTQ), разукрупнив каждый вес на низкоразрядный остаточный и высокоточный компонент низкой мощности. Вместе с тем существующие низкосортные подходы PTQ либо оптимизируют компенсацию на низком уровне и остаточную квантизацию отдельно, часто требуя повышения ранга, или полагаются на обновление веса второго порядка без явной модели ошибки в активации quantization, которая становится особенно ярко выраженной при 4-битной квантизации. Для устранения этих ограничений мы представляем ~метод {}, унифицированную рамочную модель с использованием низкоуровневой модели W4A4 PTQ в качестве комбинированной проблемы калибровки и выведения решений на основе оптимизации из совместной цели. Устранение низковыходного коэффициента низкого ранга дает mphh {дефлятированный Hessian}, который скидывает остаточные ошибки, уже засчитываемые компонентом низкого уровня, в то время как суррогатный режим активации включается в систему suppres