Реклама

Компенсация веса и пространства KV Cache

#Компенсация #Cache #Аннонс #Существующие #PatchKV

arXiv: 2609.39329v1 Аннонс Тип: новое резюме: вывод о длительном тексте с крупными языковыми моделями (LMS) затушевывается линейно растущей памятью кэша значения ключей (KV). Существующие методы сжатия сокращают кэш посредством символического выселения или приближения, но резко ухудшаются при…