Реклама

Muon может превзойти специальные методы постоянного обучения

#Muon #Аннонс #Постоянное #Rank #LoRA

arXiv: 2609.24678v1 Аннонс Тип: перекрестное резюме: Постоянное обучение с адаптационными устройствами с низким уровнем Rank (LoRA), как правило, смягчает забвение путем наказания дублирования между новым обновлением и накопившимися весами прошлого, что препятствует определенным направлениям…