Время дивергенции и суммарное расхождение в соответствии с эвакуацией KV-Cache

#Время #KV-Cache #Annuales #Type #Прямая

arXiv: 2609.16617v1 Annuales Type: новый резюме: KV-cache выселение нарушает условное распределение символов, регулирующих авторегрессивное поколение. Мы исследуем вопрос о том, каким образом в случае первого шага и последующего символического несоответствия определяется совокупное расхождение. Мы получаем точное разложение при заданном максимальном сцеплении: ожидаемая несоответствие фракции равняется первой махинации плюс воздействие после падения, умноженное на ее несоответствие скорости. Прямая конструкция неограниченных авторегрессивных пар ядер позволяет осознать острый интервал рисков, совместимых с конечным окном наблюдения, в котором наблюдается расхождение. Остаточное отделение Монте-Карло представляет беспристрастные совместные оценки случаев, занятия и взносов в счет " окон/отрубов &qt; , при этом общая потеря определяется по разнице между показателями на душу населения. Полные траектории из инструкции Мета-Лламы-3.1-8B и инструкции Qwen2,5-7B показывают, что SnapKV при 50-процентном удержании вступает в расхождение позже и реже чем SnapkV-512 или r

Компьютерные науки > Машинное обучение [представлено 15 сентября 2026 года] Название: Divergence Time and Cumulative Dispositation согласно KV-Cach Eviction View Abstract:KV-casche выселение искажает условное распределение символов, регулирующих авторегрессивное поколение. Мы исследуем вопрос о том, каким образом в случае первого шага и последующего символического несоответствия определяется совокупное расхождение. Мы получаем точное разложение при заданном максимальном сцеплении: ожидаемая несоответствие фракции равняется первой махинации плюс воздействие после падения, умноженное на ее несоответствие скорости. Прямая конструкция неограниченных авторегрессивных пар ядер позволяет осознать острый интервал рисков, совместимых с конечным окном наблюдения, в котором наблюдается расхождение. Остаточное отделение Монте-Карло представляет беспристрастные совместные оценки случаев, занятия и взносов в счет " окон/отрубов &qt; , при этом общая потеря определяется по разнице между показателями на душу населения. Полные траектории из инструкции Мета-Ллама-3.1-8B и инструкции Qwen2,5-7B показывают, что SnapKV при 50% удержания впадает в расхождения позже и реже, чем SnapkV-512 или недавно запрошенное удержание с тем же самым 50процентным бюджетом на оперативные кэши, тогда как общее изменение после вычетов (TV) остается высоким. В ходе аналитического анализа 288 документов на долю воздействия после разложения приходится 85-90% от четырех совокупных несоответствий. По 288…