Компьютерные науки > Машинное обучение [представлено 18 марта 2026 (v1), последний пересмотренный вариант от 9 октября 2026 года (эта версия, v2)) Название: " Восьми кластерных рецензий значение относительного рейтинга в больших языковых моделях Вид PDF HTML (экспериментальный) резюме: модели большого языка (LLMS) содержат миллиарды параметров, но многие точные значения веса не являются необходимыми. Мы используем скалярные $K-means, сгруппированные для предварительно подготовленных моделей, заменяя каждую весовую матрицу только 16-64 общими значениями. Для Llama~3.1-8B-инструкции и SmolLM2-135M это сохраняет высокую точность без переподготовки, обеспечивая простой способ сжимать LMS на диске. Тонкая регулировка только кластерных центрроидов позволяет получить 30-40% оставшейся потери точности. Используя кластерный инструмент анализа, мы затем сохраняем блок-задания фиксированными и искажаем только общие ценности для изучения того, какая из их свойств имеет наибольшее значение. Мы считаем, что сохранение их mophh {относительного ранга} (которые связаны сильнее или слабее других) важнее сохранения их точных величин. Нарушение этого приказа значительно увеличивает недоразумение, в то же время меняя значения, но сохраняя порядок, не вызывает больших потерь во многих средних и поздних слоях. Однако одного сохранения звания недостаточно. Эффективность модели зависит также от сохранения разницы между восстановленными весами, в то время как ранние слои остаются более…
Кластеризация весов показывает важность относительного рейтинга в крупных языковых моделях
arXiv:2603.17917v2 Adminus Type: заменить перекрестное резюме: Большие языковые модели (LMS) содержат миллиарды параметров, но многие точные значения веса не являются необходимыми. Мы используем скалярные $K-means, сгруппированные для предварительно подготовленных моделей, заменяя каждую весовую матрицу только 16-64 общими значениями. Для Llama~3.1-8B-инструкции и SmolLM2-135M это сохраняет высокую точность без переподготовки, обеспечивая простой способ сжимать LMS на диске. Тонкая регулировка только кластерных центрроидов позволяет получить 30-40% оставшейся потери точности. Используя кластерный инструмент анализа, мы затем сохраняем блок-задания фиксированными и искажаем только общие ценности для изучения того, какая из их свойств имеет наибольшее значение. Мы считаем, что сохранение их mophh {относительного ранга} (которые связаны сильнее или слабее других) важнее сохранения их точных величин. Нарушение этого приказа значительно увеличивает недоразумение, в то же время меняя значения, но сохраняя порядок, не причиняет больших потерь во многих средних и l.