Реклама

EchoPress: запрос-агнотика KV Cache Pruning через Virtual Context Reconstruction

#EchoPress #Cache #Pruning #Virtual #Context

arXiv: 2610,00412v1 Annuate Type: новый резюме: KV Cach crauning уменьшает использование длиннотекстовой версии памяти путем высечения менее важных пар ключевых значений. KVzip оценивает важность через восстановление контекста: побуждая модель повторять контекстную кусок на кусочек. Это позволяет…