Компьютерные науки > Расчеты и язык [представлен 18 сентября 2025 года (v1), последний пересмотренный вариант 8 октября 2026 года (эта версия, v4)] Название: Fair-GPTQ: Bias-Awre Cutantization for Maginal Language Models View PDF HTML (экспериментальный) резюме: Высокие требования к памяти моделей регенеративного языка привлекли внимание к квантизации, которая сокращает использование памяти за счет составления карт весов модели до более низких значений. Вместе с тем недавние эмпирические исследования показывают, что, хотя квантизация и является эффективной, она может повысить вероятность получения необъективных результатов и снизить эффективность работы по контрольным показателям справедливости. В этой работе мы налаживаем новые связи между квантизацией и справедливостью моделей, добавляя явные ограничения групповой справедливости в цель категоризации и внедряя Fair-GPTQ - первый метод квантизации, специально предназначенный для уменьшения несправедливости в крупных языковых моделях. Дополнительные ограничения служат ориентиром для обучения операций по округлению в направлении формирования менее предвзятых текстов для охраняемых групп. В частности, мы уделяем особое внимание стереотипному поколению, связанному с профессиональной предвзятостью и дискриминационным языком в отношении пола, расы и религии. Справедливый ГПТТ оказывает минимальное воздействие на эффективность работы, сохраняя по меньшей мере 90% базовой точности при нулевых контрольных показателях, уменьшает…
" Справедливая ГПТТ: квалификация, показываемая в биайсе, для крупных языковых моделей
arXiv: 25009.15206v4 Annuales Type: заменить резюме: высокие требования к памяти моделей, используемых для создания регенеративных языков, привлекли внимание к количественной оценке, которая сокращает использование памяти путем составления карт весов модели до более низких точных целых значений. Вместе с тем недавние эмпирические исследования показывают, что, хотя квантизация и является эффективной, она может повысить вероятность получения необъективных результатов и снизить эффективность работы по контрольным показателям справедливости. В этой работе мы налаживаем новые связи между квантизацией и справедливостью моделей, добавляя явные ограничения групповой справедливости в цель категоризации и внедряя Fair-GPTQ - первый метод квантизации, специально предназначенный для уменьшения несправедливости в крупных языковых моделях. Дополнительные ограничения служат ориентиром для обучения операций по округлению в направлении формирования менее предвзятых текстов для охраняемых групп. В частности, мы уделяем особое внимание стереотипному поколению, связанному с профессиональной предвзятостью и дискриминационным языком в отношении пола, расы и религии. Справедливый ГПТТ оказывает минимальное воздействие на эффективность работы, сохраняя при l
