На пути к переносу гиперпараметров для дифференцированной оптимизации в частном секторе

Компьютерные науки > Машинное обучение [представлено 16 октября 2026 года] Название: " На пути к переносу гиперпараметров для дифференцированного частного оптимизирующего вида HTML (экспериментального) резюме: Законы о расширении масштабов и совершенствование гиперпараметров остаются главными задачами в обучении крупномасштабных моделей, особенно при дифференциальной конфиденциальности (DP), где оптимизация еще больше осложняется закачками шума и вырезками градиента на выборке. В то время как максимальное обновление параметризации ($mu$P) допускает передачу с нулевым температурным гиперпараметром в рамках стандартной подготовки, мы показываем, что она не соответствует ограничениям DP из-за различных спектральных свойств высокомерного шума и градиентов низкого ранга. В этой работе мы представляем DP-$\mu$P, теоретически обоснованную систему, которая увеличит сумму в размере $mou$P до уровня сохранения частной жизни. Анализируя взаимодействие между градиентными вырезками, впрыском шума и изучением особенностей, мы получаем состояние соотношения "сигнал-шум" (SNR), которое регулирует масштабирование скорости обучения по слою. Сочетая это с предлагаемой нами спектральной формулой, мы предлагаем конкретные правила масштабирования для оптимизации DP-SGD, DP-Aдама и DP-Muon. Эмпирически мы демонстрируем, что DP-\mu$P обеспечивает эффективную передачу нулевых показателей успеваемости по ширине моделей на различных архитектурах (MLP, VIT, GPT-2), соотнося их с результатами…