Крупные модели диффузии нуждаются в большем, чем ЭМА

Компьютерные науки > Машинное обучение [представлено 16 октября 2026 года] Название: " Большие диффузионные модели, требующие большего, чем ЭМА Вижн PDF HTML (экспериментальный) резюме: крупные модели распространения обычно обучаются с постоянным коэффициентом обучения (LR) и экспоненциально движущимся средним показателем (EMA), несмотря на высокие показатели разложения LR и бесперебойной оптимизации графика в обучении крупных языковых моделей. Мы изучаем вопрос о том, является ли ЭМА уникально приспособленной для распространения знаний или же недостаточно изучены более сильные альтернативы. Наша теория показывает, что усреднение траектории постоянного шага имеет свойственные ей ограничения оптимизации, в то время как LR-разложение и Free-Planet оптимизация допускают исчезающие гарантии стабильности при стандартных невыпущенных допущениях. Эмпирически разложение LR и EMA дают дополнительные преимущества: сочетание распада с ЕМА еще больше улучшает стандартный исходный уровень в большинстве проверенных исходных точек, хотя этот прирост остается чувствительным к началу разрушения. Без соблюдения графика избегает этого требования в отношении сроков и неизменно опережает ЭМА с постоянным ЖО на всех этапах подготовки, обеспечивая достижение как более низких целевых показателей фиксированной оценки, так и лучшего качества генерации. Наш анализ далее показывает, что все три стратегии существенно сокращают изменчивость параметров, однако более сильная стабилизация не всегда…