Компьютерные науки > Машинное обучение [представлено 14 ноября 2024 года v1), последнее пересмотренное 26 октября 2026 года (эта версия, v3)] Название: Временное различие в обучении адаптируется к неполному охвату: неравенство оракул по сравнению с подграфами View PDF HTML (экспериментальное) резюме: Временная разница (TD) и Монте Карло (МС) являются двумя основополагающими принципами оценки функции ценности в процессе дополнительного обучения. Для оценки стоимости СТР асимптотически эффективен, в то время как МК требует лишь адекватного посещения. Мы показываем, что эти преимущества автоматически комбинируются обычным TD в табличной форме. Мы идентифицируем подграф Беллман, возникающую в результате закупорки в субдиаграммах и развертывания вне них, как фундаментальное количество, соединяющее МС и эффективные контрольные показатели по TD. С помощью независимых траекторий мы доказываем неасимптотическое неравенство: средняя квадратная погрешность полного TD ограничена этой разницей в размере выборки для каждого достаточно закрытого подграфа, содержащего цель, вплоть до более высокого порядка, чья зависимость от пребывания ограничивается этим поддиаграммами. Алгоритм не имеет подграфа. Таким образом, TD адаптируется без выбора подграфа или требования глобального охвата. Окончательная минимаксная нижняя граница выборки показывает, что асимптотическая дисперсия TD необязательно должна быть достижимой до того, как будут надлежащим образом соблюдаться редкие состояния. В…
Временное различие в обучении адаптируется к неполному охвату: неравенство оракул по сравнению с подграфами
arXiv: 2411.0973131v3 Тип уведомления: заменить перекрестное резюме: Временная разница (TD) и Монте Карло (MC) являются двумя основополагающими принципами стоимостной оценки функции в процессе дополнительного обучения. Для оценки стоимости СТР асимптотически эффективен, в то время как МК требует лишь адекватного посещения. Мы показываем, что эти преимущества автоматически комбинируются обычным TD в табличной форме. Мы идентифицируем подграф Беллман, возникающую в результате закупорки в субдиаграммах и развертывания вне них, как фундаментальное количество, соединяющее МС и эффективные контрольные показатели по TD. С помощью независимых траекторий мы доказываем неасимптотическое неравенство: средняя квадратная погрешность полного TD ограничена этой разницей в размере выборки для каждого достаточно закрытого подграфа, содержащего цель, вплоть до более высокого порядка, чья зависимость от пребывания ограничивается этим поддиаграммами. Алгоритм не имеет подграфа. Таким образом, TD адаптируется без выбора подграфа или требования глобы