NestedKV: Nested Memory Routing для сжатия кэша KV с длинным контекстом
arXiv:2605.26678v2 Анонс Тип: замена Абстракт: Языковые модели с длинным контекстом ограничены размером памяти кэша ключевого значения (KV). Существующие методы сжатия КВ без обучения обычно ранжируют токены по одному важному сигналу - вниманию, стойкости, выделению слоя или ключевой…