Компьютерная наука > Машинное обучение [представлено 25 октября 2026 года] Название: Recom: Активация остаточной компенсации за использование моделей квантизации большого языка HTML (экспериментальный) Резюме: Нижний-битный вес - quantivation уменьшает память и вычисления, необходимые для внедрения больших языковых моделей, но округление активации может попрежнему ухудшить точность после калибровки. Реконструкция в результате округления исходных данных не может отличать активацию в одном и том же квадратизированном контейнере. Мы предлагаем ResCom, поправку низкого ранга с использованием остаточного округления активации для компенсации возникшей в результате ошибки слоя-выпуск. Процедура калибровки с учетом выходного сигнала определяет остаточные направления по их вкладу в реконструкцию выпуска и рассчитывает корректировку в закрытом виде без градиентной подготовки или обновления калиброванных весов. На Llama-3-8B с 4-битными весами и активациями коррекция по градации 32 позволяет уменьшить недопонимание WikiText-2 с 7,708 до 7,147, улучшить MMLU на 2,89 процентных пункта и повысить точность пяти выстрелов GSM8K с 23,96 до 36,16%. Оценки параметров 1B-70В и выдержанных C4 моделей проводят испытание метода, который выходит за рамки этой регулировки. В результате оценки внедрения FP32 к 4K добавляется 2,25 процента времени предварительного заполнения; в отдельном компактном режиме хранения сохраняется 27,7 процента пикового мемориального сокращения по сравнению с FP16.…
Резолюция: Активация остаточной компенсации за квалификацию модели большого языка
arXiv: 261 0,35955 v1 Аннонс Тип: новое резюме: низкобитный вес - активация квантизации уменьшает память и вычисления, необходимые для внедрения больших языковых моделей, но округление активации может по-прежнему ухудшить точность после калибровки. Реконструкция в результате округления исходных данных не может отличать активацию в одном и том же квадратизированном контейнере. Мы предлагаем ResCom, поправку низкого ранга с использованием остаточного округления активации для компенсации возникшей в результате ошибки слоя-выпуск. Процедура калибровки с учетом выходного сигнала определяет остаточные направления по их вкладу в реконструкцию выпуска и рассчитывает корректировку в закрытом виде без градиентной подготовки или обновления калиброванных весов. На Llama-3-8B с 4-битными весами и активациями коррекция по градации 32 позволяет уменьшить недопонимание WikiText-2 с 7,708 до 7,147, улучшить MMLU на 2,89 процентных пункта и повысить точность пяти выстрелов GSM8K с 23,96 до 36,16%. Оценки параметров 1B - 70В и параметров C4 в режиме выдерживания