Стой, не клони: тонкая постановка с экспрессивной политикой без сохранения оффлайн-данных

arXiv: 261 036262471 Annuales Type: New Humber: Offline-online Updateing Учеба использует офлайновую предварительную подготовку для ускорения последующего онлайнового обучения. Хотя многие методы предполагают, что набор офлайновых данных остается открытым на протяжении всего процесса доработки, существует много параметров, в которых это не так. В этой ситуации в результате предыдущей работы ошибки обусловлены главным образом критикой переквалибровки при перераспределении. Мы идентифицируем дополнительный провал актёра: как только офлайновые данные исчезнут, постоянное клонирование поведения (BC) больше не сохранит распространение оффлайнового поведения, а вместо этого восстановит модель поведения на ограниченный опыт агента в сети. Мы демонстрируем, что остановка онлайн-поведенческой установки при сохранении предварительно подготовленного экспрессивного предварительного процесса существенно улучшает неудерживаемую откорректированность через имплицитное обучение Q (IFQL), поток Q-обучение (FQl) и действие-выключенный RL (QC) в семи областях OGBench. Мы отследим этот провал в поведенческой петле обратной связи: конт