Для адаптации языковых моделей к прикладным задачам широко применяется метод LoRA. Он сохраняет основные веса модели неизменными и дообучает ее с помощью адаптеров — небольших дополнительных модулей, встроенных в слои модели. При этом всем адаптерам выделяется одинаковое число обучаемых параметров, хотя слои модели вносят неодинаковый вклад в решение конкретной задачи.
Исследователи предложили SimplexLoRA — метод, который учитывает эти различия. На предварительном этапе он определяет, какие слои наиболее важны для задачи, и перераспределяет между ними общий объем обучаемых параметров: значимым слоям выделяется больше ресурсов, остальным — меньше. Затем распределение фиксируется, и модель дообучается по стандартной схеме LoRA. Благодаря этому качество дообучения повышается без увеличения числа обучаемых параметров и вычислительных затрат.
Исследователи протестировали SimplexLoRA на 12 задачах с использованием четырех моделей: DeBERTaV3, BART-large, Llama 3.1 8B и Qwen3-8B. Эксперименты включали задачи на понимание текстов, подготовку кратких изложений, ответы на вопросы и рассуждение.
В большинстве тестов новый метод достигал качества стандартного LoRA или даже превосходил его при том же числе обучаемых параметров и той же стоимости инференса. Метод особенно хорошо работает при небольшом количестве обучаемых параметров, оптимально распределяя ограниченный ранг между слоями модели и достигая при этом более высокого качества по сравнению со стандартным LoRA.
