Реклама

TOPAS: Workflow-Aware Prefix-State Scheduling для многоагентного обслуживания LLM

#TOPAS #Workflow-Aware #Prefix-State #Scheduling #Анонс

arXiv:2608.25523v1 Анонс Тип: новый Abstract: Prefix кэширование вводит фундаментальный компромисс в многоагентной модели большого языка (LLM), обслуживающей: сохранение длительного кэша ключ-значение (KV) для агента ускоряет будущие вызовы, но уменьшает память GPU, доступную для пакетирования…