Компьютерные науки > операционные системы [представлены 30 июля 2026 года] Название: GroupKV: Иерархическая KV Cach Management for Long-Context Difsution Findence View PDF HTML (экспериментальное) резюме: Diflusion крупноязычные модели (dLMS) становятся перспективной регенеративной парадигмой, которая дополняет авторегрессивное декодирование. В длинных контекстовых параметрах кэш-поплавок и отгрузка накладных расходов стали основными узлами в системах вывода. Тем временем периодическая рекомпьютация последовательности и локальные символические обновления в DLMS делают жизненный цикл KV значительно более динамичным, усложняя управление кэшом и предварительное планирование при одновременном создании систем индексации или кластеризации на уровне тяжелых весов для эффективной амортизации во время декодирования. Для решения этих задач мы представляем intextsc {GroupKV}, легковесную иерархическую систему управления кэшами KV для долгосрочного вывода dLM. Мы отмечаем, что при разшифровке по блокам символы в рамках одного и того же поколения обычно имеют доступ к сильно перекрывающимся и пространственно концентрированным регионам контекста, делая выбор на уровне группы весьма ограниченным. Основываясь на этом наблюдении, текстск {GroupKV} разделяет контекст на смежные группы и осуществляет крупномерный ограниченный отбор. *текстск {ГруппКВ} дополнительно использует межсезониальную последовательность для обеспечения предупредительной предварительной подготовки и включает механизм…
GroupKV: Иерархическая KV Cach Management for Long-Context Difflusion LLM Infence
arXiv:2609.17573v1 Annuate Type: кросс-бюллетень: Difslution крупноязычные модели (dLMS) появляются в качестве многообещающей парадигмы регенерации, которая дополняет авторегрессивное декодирование. В длинных контекстовых параметрах кэш-поплавок и отгрузка накладных расходов стали основными узлами в системах вывода. Тем временем периодическая рекомпьютация последовательности и локальные символические обновления в DLMS делают жизненный цикл KV значительно более динамичным, усложняя управление кэшом и предварительное планирование при одновременном создании систем индексации или кластеризации на уровне тяжелых весов для эффективной амортизации во время декодирования. Для решения этих задач мы представляем intextsc {GroupKV}, легковесную иерархическую систему управления кэшами KV для долгосрочного вывода dLM. Мы отмечаем, что при разшифровке по блокам символы в рамках одного и того же поколения обычно имеют доступ к сильно перекрывающимся и пространственно концентрированным регионам контекста, делая выбор на уровне группы весьма ограниченным. Основываясь на этом наблюдении,
