Сбрасывание внимания к ключам делает KV caches бегать на стандартных ядрах

Компьютерные науки > Машинное обучение [представлено 27 октября 2026 года] Название: Задание внимания биазам в ключи делает KV Caches бегом на стандартном виде ядра PDF HTML (экспериментальное) Резюме: Совпадение внимания (AM) с тайником KV, сохраняя некоторые клавиши на голову, переставляя их ценности и добавляя отклонение к журналу каждого сохраненного ключа. Флэшвент и скрытые тайники VLM не имеют для этого никакого значения. Мы складываем отклонение в ключи по одному направлению закрытой формы на голову, установленному на контекстных запросах, давая простой тайник с размером AM и размерами головы и собственный запрос модели; ошибка вывода ограничивается тем как далеко проекция каждого вопроса на это направление от 1. С одинаковыми бюджетами на душу населения, немодифицированные VLM служат сложенными тайниками через соединитель KV, что соответствует ответам Хаггинга Фока по всем 51 Qwen3-4B вопросам и его жадным выходом из 180 из 200 Qwent3-14 B LongBnch образцов. С одинаковыми бюджетами на QualITY (Qwen3-1.7B, 4B, 8B, Llama-3.1-8 B) и Long Health (три модели Qwens3) сгибается в пределах звука точности АМ 13 из 14 настройок с более низким KL до полного кэша, чем снижение отклонения во всех 12 случаях, где оба были запущены. Согласно опубликованным бюджетам на душу населения, в Qwen3-4B, версии инструкции 2507 и Llama-3.1-8B она находится в пределах звука AM в 9 из 10, больше не бьет по отрицанию ошибок в KL, а два победителя один раз по точности. Дополнительные ссылки и…