Может ли модель языка постоянно учиться фактам в своем весе?

arXiv: 2607.11020v3 Вид уведомления: заменить резюме: непрерывное обучение представляет собой давний разрыв возможностей между МЛМ и людьми. Заполнение новых знаний в весах модели, как правило, приводит к забвению старых знаний, которые обычно называют "катастрофическими забывчивыми". Различные модификации контролируемой усовершенствования и дистилляции направлены на смягчение последствий катастрофического забвения, однако количественная оценка того (или большого) объема информации зачастую сопряжена с трудностями. В настоящем документе мы изучаем вопрос о том, позволяют ли современные методы написания знаний в весах постоянно учиться без забвения. Мы внедряем систему для изучения непрерывного обучения в итеративном режиме, записывая изобретённые факты по одному за раз модели Qwen3 уже модифицированной предыдущими написаниеми, а также видоизменяя учебные данные, метод и обновление параметров. В рамках СФТ и вне политики, с использованием LORA или полной корректировки мы сравниваем неоднократные занятия по составлению заявлений (один и тот же факт повторяется в двух форматах) с различными бывшими