Двухквантовая: двухмерная безкалибровочная калькуляция Вес и активация
arXiv:2610.13767v1 Аннонс Тип: перекрестное резюме: низкобитные выводы по акселераторам с местной 4- битной поддержкой требуют квантизации как весов, так и активаций для реализации полного выигрыша от пропусков через эти форматы. Хотя вопрос о квантизации веса после прохождения профессиональной подготовки был тщательно изучен, процесс активации по-прежнему сопряжен с гораздо большими трудностями и обычно требует данных калибровки. В этой работе мы внедряем DUALQUANT, двухмасштабную безкалибровую систему квантизации после обучения, которая непосредственно сводит к минимуму среднюю ошибку в квадрате (MSE) с учетом изменения веса и как непосредственный побочный продукт позволяет произвести перерасчет активации на одну камеру до начала работы. Наше ключевое замечание заключается в том, что коэффициенты масштабирования, полученные путем сведения к минимуму погрешностей при восстановлении веса, обеспечивают эффективную перерасчетную активацию и позволяют проводить конкурентную квантизацию активации без калибровочных данных. Мы формулируем DUALQUANT как неразличимую проблему восстановления веса и разрабатываем эффективное решение
