KV-Requestment: тест для оценки повторного использования в неподготовленном виде

arXiv: 2610.13060v1 Annuate Type: New Express: KV-cach повторное использование в большой языковой модели обычно ограничивается точными префиксами, предотвращая повторный поиск, когда один и тот же документ появляется после различных системных сигналов, истории разговоров или динамических метаданных. Мы представляем KV-Recommittee, открытую систему на основе vLM для разработки и оценки повторного использования KV кэша в зависимости от сегмента помимо точных префиксов. Эта система сочетает в себе планирование сегментов, скрытых от кэша, оперативное строительство, управление потенциалом, генерирование рабочей нагрузки и мониторинг рабочего времени. Эксперименты по долгосрочным контрольным показателям показывают, что наивное повторное использование сегментов во многом сохраняет качество выпуска для ответа и суммирования вопросов в одном документе при одновременном выявлении явных ограничений в отношении перекрестных рассуждений. При рабочей нагрузке в стиле Zipfian RAG, при которой 20% запросов делятся фиксированным префиксом, KV-Recutive достигает значительно более высокого коэффициента кэша символического уровня по сравнению с преференцией катафалк при той же мощности 30 GB, 63,9% против 3.