VFold: Симметрия-показатель Кросс-Лейер Цикл Компрессия

arXiv: 261.10.12338v 1 Annuate Type: New Habstract: В то время как клеточное значение ключа (KV) в штатах ускоряет декодирование Большой Лингвистической модели (LLM), этот тайник может доминировать при использовании памяти на длинные контексты. Одним из решений является сжимание этой памяти путем использования межслойных кэшовых сходств. Вместе с тем большинство существующих методов требуют внесения архитектурных изменений в МЛМ и сопряжены со значительными накладными расходами. В этой работе мы предлагаем стратегию слияния симметрии-понимания ценности, которая уменьшает память кэша и одновременно позволяет избежать как вредной деградации производительности, так и архитектурных накладных расходов во время декодирования. Кроме того, мы показываем, что этот подход можно использовать наряду с существующими методами сжатия кэша, используя высокосоотношение квартализации или ключевых кранов для достижения коэффициентов сжатия, которые ни один из этих методов не достигает в одиночку при минимальных дополнительных затратах. В конечном счете, наши выводы свидетельствуют о наличии основного источника недоиспользуемых мощностей в кэше ценностей, что дает простое и высокоэффективное направление для масштабирования конте