Компьютерная наука > Вычисление и язык [представлено 6 сентября 2026 года] Название: EECOKV: Geometry-Aware KV Cach Exviction через Дополнительный мультипликационный Metritory View PDF HTML (экспериментальный) Резюме: Несмотря на то, что мультимодальные модели Большого языка (MLMs) успешно выполняют различные задачи, их масштабность попрежнему ограничивается памятью и расчетными расходами на хранение KV. Недавно применяемые методы выселения кэша KV включают в себя метрику разнообразия, основанную на косинусе сходства и имеющую важное значение для выборочного сохранения пар ключевых ценностей. Однако косинусное сходство предполагает нормализацию, которая позволяет выбросить информацию о величине и часто дает одинаково высокие значения сходных значений между слоями из-за анизотропии скрытого представления. В нашем исследовании EECKV мы тщательно разрушаем возможности существующих показателей разнообразия. Переходя за рамки простого измерения, мы предлагаем составной метрики геометрического видения, которая совместно использует расстояние между Евклидом и косинусом для отражения символического разнообразия из взаимодополняющих перспектив. Кроме того, мы используем эти две метрики для оценки уровня избыточности каждой головки внимания, что позволяет адаптивно взвешивать разнообразие и значения в процессе выбора символов. И наконец, мы продемонстрируем, что можно существенно сократить возможности для наблюдения, которые обычно используются для сохранения последних символов, и тем…
ECOKV: Геометрия-программа KV Eviction через дополнительные показатели разнообразия
arXiv:2609.0663v1 Annualce Type: New Humber Abstract: Хотя мультимодальные модели большого языка (MLMs) успешно выполняют различные задачи, их масштабируемость по-прежнему ограничивается памятью и расчетными накладами кэша KV. Недавно применяемые методы выселения кэша KV включают в себя метрику разнообразия, основанную на косинусе сходства и имеющую важное значение для выборочного сохранения пар ключевых ценностей. Однако косинусное сходство предполагает нормализацию, которая позволяет выбросить информацию о величине и часто дает одинаково высокие значения сходных значений между слоями из-за анизотропии скрытого представления. В нашем исследовании EECKV мы тщательно разрушаем возможности существующих показателей разнообразия. Переходя за рамки простого измерения, мы предлагаем составной метрики геометрического видения, которая совместно использует расстояние между Евклидом и косинусом для отражения символического разнообразия из взаимодополняющих перспектив. Кроме того, мы используем эти два показателя для оценки уровня избыточности каждой головки внимания, что позволяет адаптироваться