Внимание: память-эффективное KV Компрессия через структурированную факторизацию
arXiv: 2610.12657v1 Annuales Type: New Humber Autoregresive Generation становится все более ограниченным из-за отпечатка памяти кэша с ключевым значением (KV), который растет линейно по длине последовательности, размеру партии и глубине модели. Существующие подходы, такие как " Многокварное внимание (МСК), &qt; Группированное-квадрическое внимание &qot; , &qlt; <. Слатентное внимание с несколькими головами > «МЗУ» и &q бытующее внимание к продуктам (ТПС) сокращают эти затраты за счет различных компромиссов, но зачастую приводят в жертву экспрессивность, требуют дополнительного позиционного кодирования или введения ограничительной структуры низкого ранга. Мы предлагаем Kronecker Products Evenue (KPA), которая представляет собой ключевые и стоимостные активации в виде сумм продуктов Kroneker из компактных, зависящих от символов матричных факторов. КНА строго обобщает ТПА: факторизация вектор-выпуск-продукт возникает как дегенерат Кронеккер, тогда как недегенеративные матричные коэффициенты могут представлять более богаче структурно структурированные блоки. Мы далее показываем, что структурированный вращающийся оператор соответствует