Исправление перед адаптацией: постепенное исправление в целях федеральной адаптационной оптимизации
arXiv: 2502,02,02727v4 Тип уведомления: заменить перекрестное резюме: методы компенсации расходов клиента и раздачи информации смягчают воздействие неоднородности данных в процессе обучения на федеративном уровне (ФЛ). Хотя корректировка дрейфа хорошо изучена применительно к градиентному спуску на основе стохастики (СГД), ее взаимодействие с адаптивными оптимизаторами клиентов остается менее понятным. Адаптивные оптимизаторы, такие как Адам, строят каждое обновление на основе прогонных средних значений прошлых градиентов, поэтому коррекция только окончательного обновления оставляет эти средние значения без изменений. Мы предлагаем Федеративную Адаптивную коррекцию ( {TF-GC}), которая корректирует каждый градиент до того, как он войдет в эти текущие средние значения, и сопоставляет его с Federated Aдаптационно навигационной дисплеем ( {t FA-NT}), который добавляет поправку к окончательному направлению. Мы показываем, что в идеализированной среде без градиентного шума направление FA-GC исчезает только в стационарных точках глобальной цели, тогда как направление Fa-NT может исчезнуть где угодно, когда оптимизация
