" Lopy: Низкоуровневая система количественного определения параметров для < > Looped language Models &qt;
arXiv: 2610,05265v1 Annuate Type: New Brieflook: Loped language Models обеспечивает эффективный параметр для масштабирования итеративных вычислений тест-время путем неоднократного выполнения совместного повторяющегося ядра. Квантизация после прохождения подготовки (ККТ) может снизить отпечаток памяти и зафиксировать стоимость петлюемых языковых моделей, однако ошибки, введенные квантизированным общим ядром, влияют на последующие ядра. Среди методов PTQ масштабирование каналов и ортогональная вращение обеспечивают сохранение вычислений плавучих точек, создавая при этом представления с различным квантизирующим качеством. Мы считаем, что рейтинг кандидатов в конфигурации квантизации может меняться с периодической глубиной, стимулируя выбор конфигураций на заданной глубине развертывания. Однако оценка каждого кандидата на полную калибровку на этой глубине сопряжена с большими затратами. Поэтому мы предлагаем систему PTQ Loopy, которая формулирует общие основные квантизации на основе целей периодического углубленного анализа и отбора общих низкобитных представлений по их окончательной прогнозируемой потереa