Адаптивное снижение изменчивости без понимания оракулальной гибкости

arXiv: 261 010.13799v 1 Annuales Type: cross Briefect: Сокращение разницы повышает скорость конвергенции стохастической невыпущенной оптимизации при средней бесперебойности. Существующие методы адаптивного сокращения отклонений специально предназначены для обеспечения средней бесперебойности и не адаптируются к стандартному сглаживанию. В этом документе мы изучаем, как один алгоритм может адаптироваться к этим двум настройкам и без шумовых параметров, не зная о константах сглаживания или переплетении. Учитывая бюджет градиента в долл. США, мы разрабатываем двухэтапный метод. На первом этапе проводится сопоставление двух независимых градиентов и выключается нормализованный импульс, когда их разница превышает пороговый уровень. Этот этап обеспечивает как кандидатам стандартные, так и бесшумные гарантии, а также ограничивает ожидаемый разрыв в функциях на втором этапе сокращения разницы. В результате этого ставки составляют: $O(T) {-1/3} долл. при средней бесперебойности, $0(T> {1/4} в соответствии со стандартной сглаживанием и $О (Т» {-1/2)] долларов без шума. Когда $T$ не известно, мы