Классификатор генерационной стоимости

arXiv: 261 020.22497v1 Annualce Type: New Brieflow: Q-обучение основано на изучении функции прогнозирования ценности пары действий государства с целью использования такой функции для руководства деятельностью по улучшению политики. В большинстве подходов эта функция изучается с нуля на основе использования целевых показателей возврата скалярных или дистрибьюторских потоков. Такой дискриминационный подход оставляет еще один источник контроля за учебными представлениями: сами действия. Вместо того чтобы прямо предсказывать возвращение пары действий государства, мы задаем обратный вопрос: какова вероятность такого действия в рамках каждого возможного возвращения? Такая перспектива дает критику, чья регенеративная составляющая - политика с учетом условий возвращения, которая может поделиться архитектурой актера. Эта политика контролирует критиков с каждым действием, а не только с возвращением, и квадратный герр потери связывает Q-значение критика с ударной целью. Мы оцениваем наш подход как к офлайновым, так и к онлайновым задачам RL и демонстрируем преимущества по сравнению с ведущими дискриминационными методами.