ZOIF: Оценка функции влияния нулевого сигнала для отбора данных LLM с использованием только переднего пропуска
arXiv: 2610.15336v1 Тип уведомления: новое резюме: функции влияния позволяют осуществлять принципиальный отбор данных для моделей с большим языком (например, выявление влиятельных учебных образцов для редактирования модели, отладки или эффективной доработки). Вместе с тем, масштабирование ИФ в МЛМ затрудняется из-за непривлекаемости миллиардных матриц Гессианского масштаба и непомерно высоких накладных расходов на память при повторном прокаждении (БП). Хотя многие классические приближения КФ уменьшают сложность Гессийской системы, они все еще полагаются на BP для расчета градиента, что требует массивного хранения для промежуточных активаций, которые препятствуют практическому отбору данных в масштабе. Для решения этой проблемы мы предлагаем ZOIF - систему нулевого порядка для оценки влияния, которая действует полностью с помощью пропусков вперёд и позволяет выбирать данные с эффективной памятью при ограниченных ресурсах. ZOIF разлагается на три этапа без BP: 1) приблизительное определение среднего опосредованного уклона посредством оценки нулевого порядка; 2) изменение и решение обратной гессианско-векторной функции (pr)
