PageWeaver: КВ-руководящие профсоюзы, обращающиеся за вниманием на спарс.

arXiv:2610.11201v1 Annuales Type: кросс-бюллетень: Динамическое слабое внимание ограничивает страницы KV, выбранные каждым запросом, но небольшая поддержка не обязательно дает эффективную работу GPU. Профсоюзы делятся страницами и добавляют тензорную плитку; их стоимость зависит от того, какие запросы сгруппированы. Мы представляем PageWeaver — проект исполнения, который использует выбранную страницу для сбора групп запросов при сохранении первоначальной поддержки каждого запроса и полного права собственности на выпуск. Ограниченный поиск GPU позволяет получить идентификаторы запросов, и ID-созерцание двух CTA поглощает их без материализации перезаказанных Q tensors или перекрестных частичных выходов. Прямая реализация проекта " KV-page Union &qt; обеспечивает дополнительное проектное исследование нелокального повторного использования и сокращения издержек. С помощью FP8 KV в течение всего периода реализации, H200 Union 8 достигает 1.70x полной геометрической скорости вызова на протяжении измеренной траектории ФлэшИнфер на шести поимках. Интерактивная перегруппировка еще более снижает латентность на 3,26-7.66% по пяти выбранным 64K-contex