Иллюзия эквивалентности: статистическая характеристика эффектов квантования в LLM
arXiv:2607.08734v2 Анонс Тип: замена Абстракт: После обучения Квантизация стала широко использоваться для сжатия больших языковых моделей, чтобы сделать их развертываемыми на устройствах с ограниченными ресурсами. Однако при оценке методов квантования в основном используется точность и недоумение,…