Критика: оценка визуальных выгод под руководством роботов

arXiv: 2610,02527v1 Annualce Type: кросс-бюллетени: Усвоенные модели визуального вознаграждения все чаще используются для оптимизации политики роботов, однако модель поощрения может заработать исполнение, которое действует не на том объекте так же высоко как и тот, который завершает задачу. Мы показываем, что оптимизация такой награды может усилить эти неправильные ошибки в то время как вознаграждение и успех работы растут, так что сигналы, которые практик обычно отслеживает, выглядят здоровыми. Мы отредактируем каждый диффузный параметр политики распространения против Робометров на задании ящика. Начиная с политики, проводимой под надзором без предварительного награждения, пять курсов обучения приводят к успешному выполнению задач на 10,2 процентных пункта и ошибкам в оценке 512 семян на 12,9 балла, тогда как пять прогонов, подготовленных по сигналу тренажера о выполнении задачи, обеспечивают успех без усиления ошибок (различие 9,2 пунктов, 95% CI 5.6-13.0). Усиление повторяется из политики, ранее оптимизированной с учетом полученных наград в соответствии со сложившейся политикой d