Механистические интуиции в LORA: Слойность для адаптационного тонкого поворота с помощью патча

arXiv: 261 030,34756v 1 Annuales Type: cross Brief: LoRA ( " Адаптация с низким коэффициентом риска > ) стала доминирующей парадигмой для эффективной настройки параметров крупных языковых моделей. Стандартная полнослойная LORA применяет адаптацию по всему трансформатору, несмотря на разнородный вклад его компонентов. В рамках этой работы мы проводим систематический механистический анализ интерпретируемости, с тем чтобы понять, как ЛоРА влияет на внутренние модели. Мы отмечаем, что адаптационный эффект ЛоРА весьма неоднороден и имеет значительную компонентно-слоевую аномалию. Наиболее важно то, что мы считаем важные уровни в значительной степени зависящими от задач и с ограниченным дублированием между задачами. Исходя из этих соображений, мы предлагаем адаптивный метод LoRA - метод калибровки, который автоматически идентифицирует конкретные слои с помощью замороженной базы нулевого раствора, что позволяет эффективно выбирать слой без исчерпывающего поиска. Обширные эксперименты на Qwen2,5-1,5B в рамках 11 разнообразных задач аргументации показывают, что адаптивная - LoRA превосходит результаты