КАЛЛМ: Постоянная адаптация МЛМ с помощью непараметрической адаптерной работы

arXiv: 261 030,36994v1 Annuales Type: New Brieftary: Непрерывная адаптация крупных языковых моделей (LMS) к меняющемуся распределению задач при одновременном смягчении последствий катастрофического забвения остается открытой проблемой. Существующие стратегии зачастую сталкиваются с трудностями в плане расширения масштабов или отсутствия надежного механизма для назначения экспертов по принципу " нулевой задачи &qt; . Мы представляем CALLM, систему, которая устраняет эти трения путем сочетания метрического мета-обучения с модульной изоляцией параметров через легкие адапторы. Во-первых, CALLM продумывает каждую партию входных данных для поиска своего ближайшего прототипа. Затем она пересылает партию к конкретному адаптационному устройству, специализирующемуся на распространении данных. Эта формулировка предусматривает i)~ контролируемое перекрестное вмешательство в работе по проектированию, ii) - постоянную вычислительную сложность независимо от числа задач, iii) -- бесперебойную интеграцию новых дистрибуций посредством расширения прототипа и iv)~ агнозистичность режима, поскольку решение о местном маршруте позволяет применять единый подход как к онлайновым, так и к внешним каналам