Резюме Внимание V2

arXiv: 261.10.18654v2 Annuales Type: заменить резюме: резюме: такие архитектуры, как Kwai Summary Relection (KSA), сжимают удаленный контекст в обучаемый символ резюме на кусок и гибридные варианты соединяют эти слои при полном внимании для сохранения точного доступа к первоначальному тексту. В такой гибридной архитектуре KSA-полная, вставленные в нее символы краткой информации служат ролью потокового потока через различные слои. Вместе с тем, несмотря на свою эффективность, она также создает некоторые узкие места: 1) различные слои компрессионного отруба должны быть одинаковыми, поэтому трудно достичь гибкого сжатия KV Cache, например в различных слоях устанавливаются разные результирующие куски компрессии. 2) В полных слоях сводный символ вводит дополнительные расходы по вычислениям, но такой слой игнорирует их и все еще платит за квадратное предварительное заполнение, что не является удобным для вычислительной стороны. По их мотивам мы разработали KSA V2, который не только обеспечивает более гибкое сжатие памяти кэша KV