Реклама

NestedKV: Nested Memory Routing для сжатия кэша KV с длинным контекстом

#NestedKV #Nested #Memory #Routing #Анонс

arXiv:2605.26678v2 Анонс Тип: замена Абстракт: Языковые модели с длинным контекстом ограничены размером памяти кэша ключевого значения (KV). Существующие методы сжатия КВ без обучения обычно ранжируют токены по одному важному сигналу - вниманию, стойкости, выделению слоя или ключевой…