Когда, где и что нужно исправить: коррекция на остаточные средства для политики роботов с учетом человеческого фактора

arXiv: 261 030.37547v 1 Annuales Type: Перекрестное резюме: Политика имитации, которая надежно выполняет большую часть траектории манипуляций, может по-прежнему не сработать в локальных регионах, требующих точности в последней мили. Обновление политики в полном объеме или изучение остаточных мер во всем мире рассматривает эту местную неудачу как глобальную проблему обучения. Мы введем адаптивную остаточную коррекцию (ОРС) - легкий послеучебный модуль, который использует дополнительное обучение (RL), чтобы учиться остаточной корректировке сверх замороженной политики при использовании редких человеческих исправлений для структурирования автономной разведки. Вместо того, чтобы рассматривать человеческие исправления как поддельные цели, АРЦ использует предварительные состояния для определения "когда" остаточный контроль должен стать активным и корректировочная геометрия для определения 'где' в остаточном пространстве автономное совершенствование должно исследоваться; задача награда определяет «что» оставшееся в конечном счете выполнено. В рамках трех задач точного управления реальным роботом ARC повышает средний успех задания с 33,3 до 75.