Совместное подпространство Внимание к эффективной длительно-контекстовой декодации

Компьютерная наука > Расчет и язык [представлен 13 октября 2026 года] Название: Совместное подпространство Внимание к эффективному длинноконтекстовому декодированию просмотра PDF HTML (экспериментальное) Резюме: Спарсе внимание уменьшает трафик KV-каче, который доминирует в длительном тексте LLM дешифрования, но практические методы во многом работают на грубой гранулярности. Выбор токен-уровня обеспечивает более строгий контроль, но в то же время ставит две задачи: низкомерный балл может потерять ключевые структуры, необходимые для точного ранжирования, а сбор разбросанных выбранных символов может компенсировать полученную выгоду запоздалости. Мы введем совместное подпространство " Внимание к спарсе &qt; (JSA) для решения обеих проблем. Для качества отбора JSA получает общее низкомерное подпространство для запроса ключа за счет сведения к минимуму ошибки в сохранении символов. Мы вверху замыкаем полученную невыпущенную цель с регулировочной маргинальной целью, которая допускает использование спектрального раствора закрытого типа; прямое уточнение конкретной цели не позволяет добиться ощутимого улучшения в испытываемых параметрах. Для обеспечения эффективности исполнения мы разрабатываем ядро с индексированным уровнем, которое не должно быть собрано и в котором будут поддерживаться отдельные выборы по каждому голове в соответствии со стандартной схемой для группового внимания (GQA) KV-каша. В рамках стандартных моделей GQA, гибридного скользящего окна/глобального…