Компенсация веса и пространства KV Cache
arXiv: 2609.39329v1 Аннонс Тип: новое резюме: вывод о длительном тексте с крупными языковыми моделями (LMS) затушевывается линейно растущей памятью кэша значения ключей (KV). Существующие методы сжатия сокращают кэш посредством символического выселения или приближения, но резко ухудшаются при…