МемДуэ: Учиться в двухразовой памяти для долгоконтекста
arXiv:2610.1992.8v1 Annuate Type: New Brieflow: Рассуждения по бесконечно длинным документам становятся реальностью с повторяющимися агентами памяти. Вместе с тем увеличение продолжительности контекста усугубляет компромисс между результатами анализа и эффективностью выводов. Вдохновленный рассказом Кайнемана о быстром и медленном мышлении, мы предлагаем MemDuet — систему с двойным процессом памяти, которая учится координировать маленькую языковую модель для быстрого параллельного отбора доказательств из сырых контекстных кусочков (система 1) с большой языковой моделью проверки обновления памяти и обновления памяти в порядке документирования (система 2). Мы обучаем МемДуэ в три этапа: контролируемая доработка системы 1 для отбора доказательств, групповая относительная оптимизация политики (ГРПО) Системы 2 для проверки и перезаписи памяти и совместная оптимализация обеих стратегий для координации выбора и обновления с точки зрения долгоконтекстных рассуждений. Эксперименты по различным показателям долгоконтекстовых рассуждений (RULER-HQA, LongBench v2 и 2Wiki MultilaterHopQA)