NAG-GS: полуимплицитный стохастический оптимизатор с большой стабильностью

arXiv:2209.14937v3 Тип анонсации: заменить перекрестное резюме: Стохастические методы первого заказа широко используются для масштабной оптимизации и машинного обучения, где их эффективность зачастую зависит от скорости обучения. Мы изучаем NAG-GS, метод стохастического импульса на основе полуимплицитного Гаусса - Сайдель дискретизация потока Нестерова типа. Для сильно выпуклых квадратов мы определим точный диапазон стабильных размеров ступенек для фиксированного демпинга и размер шага, который минимизирует наихудший спектральный радиус. Когда демпинга равна параметру сильного выпуклости, метод восстанавливает ускоренный асимптотический коэффициент $(\sqrt {kappa}-1)/( sqrт { kappa}+1)] долл. США, где $#kappa$ является номером условия. Мы также доказываем, что квадратная итерация линейно совпадает с динамическим демпингами при ее ограниченной фиксированной итерации. Для общего сильного выпуклости, возможно несложных целей мы устанавливаем $O(1/k) долл., привязанный к ожидаемому объективному разрыву последнего итерата с использованием условно унбии