Иерархическая репараметризация с низким коэффициентом трения для определения параметров

arXiv: 261 030,37068v 1 Annuales Type: New Humber: Parameter-factive funding (PEFT) methods applement крупноразмерные модели путем введения небольшого числа поддающихся обучению параметров. Однако мы считаем, что эти параметры по-прежнему содержат избыточность и могут быть дополнительно сжаты при сохранении высоких показателей выполнения задач. С этой целью мы предлагаем новый иерархический метод репараметризации на низком уровне. Его основная идея состоит в том, чтобы реорганизовать поддающиеся обучению параметры методов PEFT в приблизительно квадратную матрицу и затем выразить их посредством низкосортного разложения, которое может применяться рекурсивно. Это представляет собой многоуровневую структуру с факторами, сжатыми по уровню, что резко сокращает число поддающихся обучению параметров. В наших экспериментах мы комбинируем эту репараметризацию с Лора, ДоРА, MSA и RASA. Мы оцениваем рассуждения о благоразумии на LLAMA-3.1-8B и Qwen2,5-7B, с дополнительными экспериментами по математике GSM8K на LUAMa-3.1.8B. В рамках сопоставимого бюджета на подготовку, наш метод сочетает в себе ум