Где можно адаптировать вопросы: выбор слоя, тонкий поворот для сохранения потенциала

arXiv: 2610.11620v1 Annualte Type: New Humber: Parameter- effective funding (PEFT) позволяет крупным языковым моделям (LMS) адаптироваться к специализированным задачам, но часто за счет унизительных общих возможностей, приобретенных в ходе предварительной подготовки. Существующие подходы в первую очередь смягчают этот компромисс за счет повторного воспроизведения данных или их упорядочения, опираясь на дополнительные данные или явные трудности с оптимизацией. Вместо этого мы сосредоточимся на другом вопросе: где следует применять адаптацию? Мы считаем, что отладка различных Трансформальных слоев дает различные достижения в достижении целевых целей и степени деградации потенциала, что говорит о том, что не все слои одинаково подходят для адаптации. Чтобы охарактеризовать это различие, мы используем эмпирическую информацию по слою Фишера для измерения чувствительности к задаче. Однако вычисления результатов Фишера требуют обратных расчетов и становятся все более дорогостоящими для крупных моделей. Таким образом, мы введем сходство между вводом и выходом косинусов как легковесное, только прокси fo