arXiv AI
LOCKS: Page-Local Compact Key Summaries for Efficient Long-Context
arXiv:2607.24555v2 Аннотация Тип: замена-перекрест: Обслуживание больших языковых моделей в длинном контексте ограничено кэшем ключевого значения (KV), который читается полностью на каждом шаге декоди...
arXiv AI