Репетируйте все, помните ничего: attic-KV репетирует то, что будет прочитано
arXiv: 2610.121333v1 Annuate Type: New Humber Abstract: Многие тайники с ключевым значением (KV) сжаты до того, как кто-либо узнает о том, что от них будет запрошено: документ в клетке для поиска, быстрый префикс обмена запросами, память долгого разговора. Преобладающий подход показывает записи KV репетицией: модель перечитывает контекст и сохраняет записи, к которым она присматривается, исходя из предположения о том, что чем более полностью кэш повторит свой контекст, тем лучше он его запомнит. Мы показываем, что в условиях жесткого бюджета это предположение об обратном: репетировать все, ничего не помнить. При 3-процентном соотношении, перечитывание всего контекста сохраняет 31,5 из 96,5 очков на RULER, а при выполнении естественных текстовых задач LongBench падает ниже методов, которые вообще ничего не репетируют. Причина в том, что кэш держит то, что он репетирует: перечитание распределяет бюджет по всему контексту, так что собственные записи ответа выживают чуть больше чем шанс. Как и студент перед экзаменом, кэш помнит больше о себе, проверяя себя, чем перечитывая. Два