ПАЛОРА: Адаптация на низких уровнях для непрерывного обучения

arXiv: 2610,04226v 1 Annualce Type: New Humber: LORA-building Methodologies ( < " Методы непрерывного обучения на основе ЛоРА &q быстрых методов смягчения последствий катастрофического забвения с помощью различных механизмов, однако почти все они дополняются небольшими коэффициентами обучения в качестве эвристики для ограничения масштабности градиентного масштаба. Такие фиксированные эвристики не имеют теоретических ориентиров в отношении того, каким образом сила этого ограничения должна развиваться по мере накопления задач. Мы обнаруживаем, что даже при таких ограничениях направления, как нулевая проекция, конечная точность обновления неизбежно утекает в подпространство накопленных ранее знаний по нескольким направлениям. Несмотря на то, что небольшие темпы обучения уменьшают такую утечку, они не могут помешать росту накопленного забвения по мере роста эффективного статуса исторических знаний. Мы показываем, что ограничение оптимальных масштабов должно адаптивно усиливаться с учетом этого эффективного ранга для обеспечения баланса между стабильностью и пластичностью, т.е. В режиме анизотропной утечки