Компьютерная наука > Машинное обучение [представлено 25 октября 2026 года] Название: Distritbed LLM Inference through Communication-Effient Speculative Decoding View PDF HTML (экспериментальное) Резюме: Распространенное спекулятивное декодирование стало многообещающим подходом для совместного вывода большой языковой модели с помощью устройства - сервера, но его разшифровка часто ограничивается накладными расходами на связь в объеме словаря. При существующих распределенных спекулятивных методах декодирования точный отбор отбраков требует передачи полных символических дистрибуций по словарю LLM между устройством и сервером, что становится дорогостоящим в условиях с ограниченной пропускной способностью. Для решения этой проблемы мы предлагаем DISCO - коммуникационно-эффективную основу для распределения спекулятивного декодирования, которая исключает передачу словаря в масштабах распространения при сохранении точного целевого распределения. DISCO достигает этого, внедряя серверную копию проекта малой языковой модели (SLM), которая позволяет серверу получать на местном уровне дистрибьюторское распределение, необходимое для отбора отбраков. В результате, DISCO обменивается только символическими индексами и значениями вероятности скаляров между устройством и сервером. Экспериментальные результаты по нескольким наборам данных показывают, что система DISCO последовательно обеспечивает более высокую скорость декодирования, чем существующие распределенные спекулятивные методы…
Распространяется информация о результатах LLM с помощью коммуникационно-эффективного спекулятивного дешифрования
arXiv: 261 0355957v1 Annuate Type: New Brieft: Distributed Conspurital Decoding появился в качестве перспективного подхода для вывода о том, что использование устройства - сервера сплоченной большой языковой модели (LLM), но его ускорение декодирования часто ограничивается накладными расходами на связь в масштабах словаря. При существующих распределенных спекулятивных методах декодирования точный отбор отбраков требует передачи полных символических дистрибуций по словарю LLM между устройством и сервером, что становится дорогостоящим в условиях с ограниченной пропускной способностью. Для решения этой проблемы мы предлагаем DISCO - коммуникационно-эффективную основу для распределения спекулятивного декодирования, которая исключает передачу словаря в масштабах распространения при сохранении точного целевого распределения. DISCO достигает этого, внедряя серверную копию проекта малой языковой модели (SLM), которая позволяет серверу получать на местном уровне дистрибьюторское распределение, необходимое для отбора отбраков. В результате обмены DISCO составили только символические индексы a