Спектер: Быстрая подача МОС через Quantization-Impled Multi-Step Speculative Разгрузка

arXiv:2511.14102v3 Тип уведомления: заменить резюме: модели смеси экспертов (МОС) часто превышают память одного акселератора. Загрузка экспертов для размещения памяти создает серьёзный узкий пункт PCIe I/O, поскольку зависящий от данных маршрут поддерживает передачи на критически важном пути. Мы представляем Spectter, систему вывода, которая использует квантизацию для сочетания спекулятивного декодирования с экспертом по отгрузке. Его легковесный квантизированный проект модели эффективно работает на устройстве, сохраняя при этом высококвалифицированный механизм активации. Это обеспечивает точный многоэтапный подход к использованию экспертов в будущем, что дает время для организации перемещения и исполнения экспертов до проведения проверки и повышает эффективность как связи, так и осуществления. В соответствии с одним запросом Specter достигает среднего ускорения в 1,50x (до 1,88 x) по времени на выпускной символ (TPOT) над современной системой. Спектер делает вывод МОС о том, что у него не хватает памяти и что он один из ГПУ более практичный в отношении товарного оборудования. Наш код выгоден