RelaxKV: Рекомпьютерная версия запроса с Sparse Context Внимание для эффективного KV Cach Повторного использования
arXiv: 260353503v1 Annuate Type: новый резюме: Cross-que KV caching сокращает расходы на предварительное заполнение в рамках Retrieval-Aughment Generation (RAG), но обычное кэширование префиксов резко ограничивает повторное использование кашов по всем запросам. Независимая позиция (PIC) устраняет…