Границы времени для асинхронного обучения

arXiv: 2610.10.13901v1 Annuales Type: New Brieflow: Мы изучаем последний итерат стандартного асинхронного Q-обучения по одной траектории конечного процесса принятия решения Марковым. Траектория следует политике фиксированного поведения, цепочка действий государства невосполнима и может быть периодической. Для дисконтного коэффициента $\gamma$, напиши $H=(1-# gamma) {-1} долл. Мы доказываем, что нулевое начальное обучение Q с постоянным размером ступеней достигает ошибки sup-norm не более чем в varepsilon$ с высокой вероятностью при использовании $\widralde {O}(H_4/(mu_ {мин}#vapsylon2)+/mathfrack h_star) долларов за 0 долл. Статистический термин сохраняет зависимость от квартального эффективного горзона стандартного Q-обучения, в то время как затраты на инициализацию добавляются в $\mathfrack h__star долларов. В случае цепочек периодического поведения сопоставление с смешиванием времени дает переходный термин $