Muon может превзойти специальные методы постоянного обучения
arXiv: 2609.24678v1 Аннонс Тип: перекрестное резюме: Постоянное обучение с адаптационными устройствами с низким уровнем Rank (LoRA), как правило, смягчает забвение путем наказания дублирования между новым обновлением и накопившимися весами прошлого, что препятствует определенным направлениям…