Когда потери в связи с более низким уровнем реконструкции падают: распределительная доработка для низкоуровневого количественного определения LLM

arXiv: 2610.11226v1 Аннонс Тип: перекрестное резюме: только весовая квантизация после обучения (PTQ) в значительной степени зависит от сведения к минимуму потерь, связанных с восстановлением, для сохранения качества модели при низкой точности. Мы показываем, что весовые показатели, которые были бы выгодны благодаря сведению к минимуму этих потерь, не должны давать более качественную модель выполнения новых задач. Фактически мы считаем, что более низкие потери в результате реконструкции могут даже ухудшить эффективность модели на основе одних и тех же калибровочных данных. Наш анализ далее показывает, что при изменении распределения вводных активаций весы с меньшими потерями в результате восстановления калибровочных данных могут иметь более высокие потери по сравнению с другими весами. Руководствуясь этими наблюдениями и нашим анализом, мы предлагаем распределительную систему " Рациональной квантизации (DRQ), которая представляет собой процесс последующей доработки, позволяющий свести до минимума наихудшие потери в связи с восстановлением по сравнению с ограниченным набором каналов активации ввода данных. DRQ уточняет целый код, представляющий собой квантизированные веса в существующей квадратной сетке, сохраняя параметры категоризации и выводящие операторы без изменений