О вычислительной стоимости Стохастических Градиент Лэнгевинских динамических систем

arXiv: 2609.17750v1 Annuate Type: cross Briet: Stocastic Gradient Langevins Dynamics (SGLD) сокращает стоимость выборки на основе Лэнгевина, заменяя оценки дрейфа полного набора данных с приближениями мини-батча, однако полученная в результате ошибка подвыборки может компенсировать эту экономию. Мы изучаем этот компромисс для стохастических дифференциальных уравнений с дрейфами конечной суммы и сравниваем вычислительную стоимость SGLD с расходами по методу Эйлера-Маруямы (EM). Для предписанной точности среднего квадрата $\varepsilon_2 долл. мы вычисляем оценки сложности, которые четко отслеживают зависимость от набора данных размера m$, размера мини-партий долларов и параметра точности $$varapsilon$. Результаты сопоставления свидетельствуют о наличии различных режимов параметров, в рамках которых предпочтительным является любой из методов. В частности, ЭМ может иметь более низкую стоимость заказ-руководитель только в режиме небольших данных и агрессивных субсборщиков, тогда как SGLD отдается предпочтение большей части оставшегося пространства параметров. В практически соответствующем режиме $lm m долл.