Реклама

ExFold: Unified Expert Folding for Training-Free MoE Prefill-Decode Acceleration

#ExFold #Unified #Expert #Folding #Training-Free

arXiv:2608.24938v1 Анонс Тип: новый Абстракт: Модели Смеси Экспертов (MoE) масштабируют емкость для высокого качества, сохраняя при этом вычисления для каждого токена ограниченными через скудную активацию эксперта. Тем не менее, служба MoE с низкой задержкой становится все более сложной, поскольку…