Математика > Оптимизация и контроль [представлен 13 июля 2023 (v1), последний пересмотренный вариант от 16 октября 2026 года (эта версия, v4)] Название: Accmodated Gradient Methods for Unconvestex Optimization: Escape Trajectories From Solid Seddle Points and Convergence to Local Minima View PDF HTML (экспериментальное) Резюме: В настоящем документе рассматривается проблема понимания поведения общего класса ускоренных градиентных методов на бесперебойные функции. С учетом некоторых недавних работ, в которых были предложены эффективные алгоритмы на основе метода тяжелого шара Полиана и ускоренного градиента Нестерова для достижения сходства к местному минимуму неконвентных функций, эта работа предлагает широкий класс ускоренных методов типа Нестеров и предусматривает тщательное изучение этих методов, включая выход из седлов и конвергенцию в местную минимальность посредством как асимптотического, так и неампотического анализа. В асимптотической системе этот документ отвечает на открытый вопрос о том, действительно ли ускоренный градиентный метод Нестерова (NAG) с переменным параметром импульса избегает жестких седловатых точек. В рамках этой работы также разрабатываются две метрики асимптотических темпов конвергенции и расхождений, и эти два показателя оцениваются по нескольким популярным стандартным ускоренным методам, таким как ускоренный уклон NAG и Нестерова с постоянным импульсом (NCM) вблизи жестких седлов. В рамках неасимптотического режима эта работа позволяет провести…
Ускоренные градиентные методы для неузнаваемой оптимизации: экспедиции от жестких седловатых точек и конвергенция до местного минима
arXiv:2307.07030v4 Тип уведомления: заменить перекрестное резюме: В настоящем документе рассматривается проблема понимания поведения общего класса ускоренных методов уклонения на бесперебойных невыпущенных функциях. С учетом некоторых недавних работ, в которых были предложены эффективные алгоритмы на основе метода тяжелого шара Полиана и ускоренного градиента Нестерова для достижения сходства к местному минимуму неконвентных функций, эта работа предлагает широкий класс ускоренных методов типа Нестеров и предусматривает тщательное изучение этих методов, включая выход из седлов и конвергенцию в местную минимальность посредством как асимптотического, так и неампотического анализа. В асимптотической системе этот документ отвечает на открытый вопрос о том, действительно ли ускоренный градиентный метод Нестерова (NAG) с переменным параметром импульса избегает жестких седловатых точек. В рамках этой работы также разрабатываются два показателя асимптотических темпов конвергенции и расхождений, и проводится оценка этих двух показателей по нескольким показателям.
