CAMR: Совместимость-показание памяти для непрерывного обучения в больших языковых моделях
arXiv: 261 0366734v1 Annuaire Type: New Habstratement: Постоянное обучение требует больших языковых моделей для приобретения новых знаний и возможностей при сохранении того, что они узнали. Точная настройка и повторное воспроизведение поддерживают приобретение и сохранение, но решение вопроса о том, нуждаются ли новые примеры в надзоре и какие исторические примеры для повторного рассмотрения остаются проблемой. Мы предлагаем реплею памяти (CAMR), адаптивную систему, которая совместно контролирует наблюдение за теперешним временем на примере и историческую повтору. CAMR сочетает проверки совместимости с усвоенными вратами памяти для руководства онлайн-политикой по трем направлениям: изучение новых примеров с общим повторением, совместное усиление совместимых соответствующих примеров и пропуск прямого надзора за проверенными овладевшими дубликатами. Эта политика извлекает уроки из обратной связи между приобретением, удержанием и расходами на профессиональную подготовку в рамках бюджета перепроигрыша с ограниченным сроком действия. Мы оцениваем КАМР с Qwen3-8B-Base на основе постоянного обновления фактов и перекрестного и сквозного обучения. О