Говорить, не знать: Агрессивно GGUF-Quantized Small Language Models все еще пишут редкие слова, которые они не могут определить дольше

arXiv: 2610,04403v1 Annuate Type: New Humber: Post-training quantization to the GGUF's Miscultifical-Decutive K-quatants обычно является тем, как модели языка с открытым весом достигают потребительского оборудования, но его влияние на тонкозернистые лексические способности не имеет квалификаций. Мы проверяем 27 квантизированных артефактов в 13 семьях и 4 архитектурных позвонках, 0,35B-14В параметров, оцененные по их опубликованной лестнице до Q2_K (около 2,6 бита за вес), на 429 частотно подтвержденных редких словах английского языка под двумя зондами: включение поверхности с помощью быстро предопределенного слова и его определения " одно место &qt; , опрошенного многосинонимным конкурентом, его ошибка измерялась слепой переписью LLM-судей каждого определения при проверке человека. В Q2 появляются три режима: полный крах в непригодные для использования здания, сильная семантическая диссоциация моделей под-2В и главным образом надежное сохранение над 3B. В каждом суб-2В артефакте определения опускаются на 20-67% ниже базового уровня артефактов, как правило в несколько раз больше потери включения.