#KV-cache

3 статьи
arXiv NLP
arXiv NLP

Усиленное быстродействующее прогнозирование

arXiv:2602.16704v2 Annualce Type: заменить резюме: архитектура быстрого веса предлагает перспективную альтернативу стандартным трансформаторам для долгосрочного контекстового моделирования, заменив KV...

arXiv NLP
2
Читать
RPS одинаковый, но p95 по TTFT хуже в 2,7 раза: что round-robin делает с KV-cache Хабр
Хабр

RPS одинаковый, но p95 по TTFT хуже в 2,7 раза: что round-robin делает с KV-cache

В замере Red Hat два балансировщика распределяли один и тот же чат-трафик между четырьмя GPU NVIDIA L4. По числу обработанных запросов в секунду результаты почти совпали: 0,52 у обычного round-robin и...

Хабр
arXiv AI
arXiv AI

Связи, неважная роль: бюджетный ремонт кеш KV после редактирования документа

arXiv: 2609.17983v1 Annuate Type: New Humber: KV-cache повторное использование может снизить затраты на поиск в генерируемых и агентических системах, но скованные контексты могут стать затменными при ...

arXiv AI
Читать