Загруженность работы, знающий менеджер KVCach

arXiv: 261 036 355 v1 Annuation Type: New Express: Prefix Caching позволяет серверам большой языковой модели (LLM) повторно использовать штаты Key-Value (KV) и ускорять этап предварительного заполнения запросов, которые делят префикс с более ранними сигналами, что снижает запоздалость и расходы на обслуживание. При ограниченных ресурсах памяти политика выселения кэша KV становится решающим фактором при определении общих выгод, связанных с прыжками префикса. Производственный оборот может иметь один поворот, многооборотный, агентический или смесь любого сочетания этих типов запросов. Наши результаты показывают, что агентские шаги возвращаются в течение нескольких секунд и отдают предпочтение реакции, а популярные сигналы и продолжительные разговоры возвращаются после многих других запросов и фаворитизма. В 20 миксов ни одна политика не всегда является лучшей: VLM стратегия по умолчанию LRU обеспечивает 12% более высокие хиты кэша, чем S3FIFO на агенто-тяжелых смеси, но ведет его до 22% в другом месте, и даже один параметр нагрузки может перевернуть победителя даже для a