Функции оценки стоимости кредитов в агентских RL

arXiv: 261 010.15840v1 Annualce Type: New Humber: Strenging Enterprise (RL) для агентов большой языковой модели (LLM) по-прежнему сопряжены с трудностями при выполнении долгосрочных задач, предусматривающих незначительные выплаты вознаграждения за результаты, в тех случаях когда предоставление кредитов на индивидуальные действия является трудным делом. Такие методы, как ГППО, предоставляют одинаковое преимущество траектории для всех действий, в то время как критические методы требуют изучения дополнительной функции ценности, которая может быть дорогостоящей и нестабильной. Мы введем функцию LLM Value RL (LVRL), которая использует заранее подготовленные знания и способность к обучению in-context LLD для оценки стратегических значений состояния без уточнения отдельного критика. LVRL определяет модель стоимости для группового контекста и калибровывает свои прогнозы с использованием известных значений в первоначальных и конечных штатах, что позволяет производить поэтапную кредитную атрибуцию на основе расчетных различий в стоимости. Далее мы распространяем эту идею на изучение опыта, накопленного в рамках политики экспертов, путем проведения перегонки по вопросам политики (ОПД), внедрения функции ОДП для оценки стоимости ЛЛМ (ЛВОД), которая ориентирована на преподавателей.