Адаптивная DHiSparse: Спекулятивное декодирование на иерархию нагрузки KV

arXiv: 261 010.13708v 1 Annuales Type: кросс-бюллетень: Длинный текст, послуживший памятью KV, заканчивается до того как аппаратное обеспечение достигает полезной пропускной способности. HiSparse хранит историю в памяти хоста и получает только выбранные записи, но использует один кэш-бюджет при каждой загрузке и не занимается спекулятивным декодированием проекта модели DSpark и DFlash2. Мы представляем адаптивную DHiSparse, которая поддерживает спекулятивное декодирование над иерархической малой KV и адаптирует место жительства к нагрузке. Он защищает требуемый рабочий набор, сохраняет дополнительную историю в то время как память GPU запасается, и восстанавливает остальное с помощью точного заплавленного поиска. DSpark и DFlash2 сохраняют свои правила, касающиеся предложения и принятия: запросы делятся поисками отсутствующих материалов, проект KV использует кольцо с привязкой к окнам, а установка для проверки используется в группах уровней. В контексте 100K и в сувенирной валюте 128 GLM-5.3 с DFlash2 доставляет 793 выпускных символа/с за декод GPU, 1,45 долл. США по времени HiSparse и 1,27 долл. состоявшемся на том же заседании