Прогнозируемая стоимость KV-Cache Compication

arXiv: 2604.11501v2 Annuature Type: заменить резюме: Rank minute measures; квантизация обеспечивает их более низкую точность. Сопоставление этих двух факторов требует выбора того, что следует сохранить для сжатия. Для того чтобы привлечь внимание к этой проблеме, мы изучаем вопрос о восстановлении результатов работы, а не только об изменении этих ценностей. При фиксированных весах внимания оптимальная ортогональная оценка рейтинга-доллары использует ведущие эйгоценекторы $V\top/alpha_top#альфа V долл., и его ошибка в точности является выброшенной суммой эигенуальных ценностей. Мы распространяем эту цель на калибровку наборов данных и групповое внимание к запросам, а также описываем распределение званий в дополнительном бюджете местных ошибок. Мы также изучаем пределы использования местных ошибок для прогнозирования потерь ниже по течению. Исторические эксперименты по изучению веса и турбирования благоприятствуют округлению коэффициента над проверенными прогнозами значений, но не позволяют провести сравнение при равном хранении кэша. Это различие является практичным: цель прогноза имеет точное решение, в то время как сопоставлениеi