#PatchKV

2 статьи
arXiv Machine Learning
arXiv Machine Learning

Компенсация веса и пространства KV Cache

arXiv: 2609.39329v1 Аннонс Тип: новое резюме: вывод о длительном тексте с крупными языковыми моделями (LMS) затушевывается линейно растущей памятью кэша значения ключей (KV). Существующие методы сжати...

arXiv Machine Learning
7
Читать
arXiv Machine Learning
arXiv Machine Learning

PatchKV: Эффективное восстановление KV Cash для динамически переработанных контекстов LLM

arXiv: 2609.26219v1 Annuales Type: кросс-бюллетени: Давно идущие рабочие потоки агентов LLM часто пересматривают внутренние контексты, сохраняя при этом длинные суффикса. Хотя символы suffix остаются ...

arXiv Machine Learning
1
Читать