Всеобъемлющая оценка методов количественной оценки моделей крупных языков

arXiv: 25007.17417v4 Тип уведомления: заменить резюме: для крупных языковых моделей (LMS) после обучения квантизация (PTQ) значительно сокращает память и вычислительные накладные расходы. Несмотря на быстрый прогресс, в существующих документах часто отсутствуют эксперименты на одном и том же месте. Кроме того, поскольку решения по квантизации обычно содержат многочисленные компоненты, важно проанализировать связи между многочисленными существующими методами для получения глубокого понимания этой области. В целях устранения этих пробелов мы проводим обновленный и обширный обзор современных методов, а также всеобъемлющие оценки низкой квантизации на основе использования только текстовых МРМ на одной и той же основе для обеспечения справедливых сопоставлений. Насколько нам известно, это справедливое и обширное расследование по-прежнему имеет исключительно важное значение, но в значительной степени недостаточно изучено исследовательским сообществом. Чтобы лучше понять связи, мы сначала разграничим опубликованную квантизацию на два этапа: доколичественные преобразования для сокращения выбросов.