Оптимизация предварительного кондиционера: преобразование чёрного ящика в онлайн-невыпущенное с помощью статических сожалений
arXiv: 2607.176707v3 Annuales Type: заменить резюме: Стохастическая оптимизация невыпущенного материала имеет ключевое значение для подготовки глубоких сетей и МЛМ в современном машинном обучении. Мы предлагаем сокращение черной коробки от стохастической невыпущенной оптимизации до обычной статической минимизации сожалений в онлайновом выпуклём оптимизации (OCO), что позволит решить открытую проблему, порождаемую Ченом и Хазан (2024). Наше сокращение поддерживает предсказуемый градиентный трекер, в то время как чёрная коробка онлайн-ученик $\mathcal {A} выбирает кондиционер, который преобразует этот трекер в направление обновления. С учетом ~(\beta)-мобильной функции с диапазоном, ограничённым $M$ и непредвзятым градиентным оракулом с разницей в размере $sigma>2 долл. США мы связали ожидаемую среднюю квадратную норму уклона с $O (# sigma_sqrt {M\Beta/T}+skrt[mathrm {Reg}_T(\mathcal {A})/ T+frack {M#betta} {T} долларовой ставкой, где mathrms {reg}_ t [маткаль {А}] является статическим сожалением по доллару Mattcal'A. Таким образом, любой оракул OCO с $O(sqrt {T}) долл. возмещает классическую конвергенцию $0(T>-1/2}