Квалификационный показатель после обучения по методу " Стабильная диагональная кривая &qt;

arXiv:2604.13806v2 Annuales Type: заменить резюме: Большие языковые модели (LMS) широко используются во многих областях, но их масштаб затрудняет развертывание. Квалификация данных после обучения (ПКТ) позволяет сократить отпечаток памяти без переподготовки путем использования небольшого калибровочного набора. Последние методы на основе Гессианского ПТК компенсируют погрешность квантизации с помощью межканальных зависимостей, однако такие подходы ухудшаются при низких бит-видтах изза шумных оценок искривления данных о ограниченной калибровке. Мы предлагаем DASH-Q, надежную систему PTQ с использованием диагонального приближения к Hesssian и итеративных взвешенных наименьших квадратов. За счет устранения шумоизлучающих зависимостей фильтры DAH-Q отбирают уровень шума, уделяя при этом приоритетное внимание сохранению основных характеристик мощности. Мы превосходим другие исходные параметры PTQ в режиме сверхнизкого уровня, повышая точность нулевой выстрела в среднем на 7,01% и до 14,01 % по сравнению с самыми сильными базовыми исходными данными в пяти базовых моделях LLM при одновременном обеспечении надежных и стабильных характеристик при наличии очень небольших калибровочных данных.