MeshKV: Network-to Chip KV Cach Fabric для раскалиброванных трансформаторов декодирования
arXiv:2609.19207v1 Annualce Type: кросс-бюллетени: Авторегрессивное декодирование трансформатора ограничивается нерегулярным перемещением кэша со стоимостью ключей (KV) на ускорителях. Системы предварительного сжатия и установки DRAM по-прежнему концентрируют движение на централизованных путях памяти, которые не дают возможности использовать длинный контекст. Мы представляем MeshKV, кэш-кашейную ткань, которая двигается блоками как пакетизированные потоки через легкое весовое ноутбук. Она совместно проектирует i) аффин-раздевание TaKV для распространения домов и уменьшения нагрузки в горячих точках, ii) мультикаст " Маре &qt; с проверенным дублирующим подавлением и iii) Pad, который дублирует предварительную обработку, умножение плитки и поток мягких максимуалов за кредитоспособными ФФО. Вместе они преобразуют противодавление в поперечное сечение в полезное изменение KV. На нашем 8x8 FPGA с LLaMA-2-7B и Mistral-7B при 8K-32 K, MeshKV сокращает движение между соединениями на 58%, улучшает использование KV полосы частот на 2,1х и обеспечивает до 1,9 x многопотоковой поток.
