Эффективный ТДМПК: совершенствование целей ПМС для эффективного контроля проб

arXiv:2605.16692v3 Аннонс Тип: заменить резюме: Мы введем эффективный метод обучения на основе модели, позволяющий получать подкрепление для непрерывного контроля, основанный на семействе алгоритмов TD-MPC. Центральное место в этой семье занимает планировщик, который стремится найти последовательность действий, которая позволяет максимально увеличить предполагаемую прибыль. Прибыль оценивается с использованием накопленной модели и сетей ценностей, каждая из которых может ввести ошибку. Эффективный TDMPC предлагает сократить эту ошибку двумя способами. Во-первых, она представляет собой комплекс динамических моделей и усреднеет оценки доходности по всем этим моделям и различным глубинам развертывания. Во-вторых, он добавляет возможность применения меры наказания за неопределенность к цели планирования и дает планировщику, который избегает действий с неопределенными оценками возвращения. Затем она добавляет практические усовершенствования, которые повышают свежесть буферных данных и уменьшают расчет. И наконец, мы считаем, что наш вклад позволяет " Эффективному TDMPC &qt; в большей степени воспользоваться более высоким коэффициентом обновления данных (UTD), который еще больше снижается.