Физически распределенный формат KVCach для процесса-GPU Балансирование нагрузки в МОС
arXiv: 2609.14507v1 Аннонс Тип: кросс-бюллетени: для вывода с использованием одного ГПС в длинном контексте моделей Mexture of Experts (MoE) требуется разлив кэша со стоимостью ключей (KVCach) на память процессора. Рассыпаемый KV служит двум дополнительным целям - передаче в GPU для вычисления…