LOCKS: Page-Local Compact Key Summaries for Efficient Long-Context
arXiv:2607.24555v2 Аннотация Тип: замена-перекрест: Обслуживание больших языковых моделей в длинном контексте ограничено кэшем ключевого значения (KV), который читается полностью на каждом шаге декодирования. Ключи внимания локально низки, хотя и глобально высоки: фиксированный эскиз низкого ранга,…