Реклама

Иллюзия эквивалентности: статистическая характеристика эффектов квантования в LLM

#Иллюзия #Анонс #Абстракт #Квантизация #Соглашение

arXiv:2607.08734v2 Анонс Тип: замена Абстракт: После обучения Квантизация стала широко использоваться для сжатия больших языковых моделей, чтобы сделать их развертываемыми на устройствах с ограниченными ресурсами. Однако при оценке методов квантования в основном используется точность и недоумение,…