Чтение вопросов: запрос-адаптивное количественное определение KV Caches

arXiv: 2610.11245v1 Annuales Type: новый резюме: записи KV-cach хранятся до того, как будут известны их будущие запросы, но каждый запрос о декодировании требует точности в различных местах. Мы изучаем это несоответствие, используя отдельные бюджеты для сохраненных бит и бит, полученных в каждом запросе. ReadKV хранит каждый ключ и ценность в прогрессивном коде, префиксы которого подтверждают различные точность реконструкции. Для каждого запроса он распределяет префиксы клавиш с помощью запроса, вычисляет внимание из восстановленных ключей и затем распределяет значения преференций с использованием этого внимания. Закрепленные позиции остаются неизменными. Каждый этап оптимизирует калиброванную цель искажения в рамках фиксированного бюджета; мы доказываем точное распределение при уменьшении доходов от уточнения и увязываем эти цели с ошибкой внимания-выпуск. Мы также видим семейство конечных и определённых размеров внимания, где доступ к запросам строго опережает каждый независимый читатель в том же считываемом бюджете даже при неограниченных конкурирующих кодерах и декодаторах.