Помимо бинари поддающейся проверке компенсации: поведенческое самовоспитание агентов ВЭС

arXiv: 261.10.12598v1 Annuate Type: New Humber: Supporting Upducation with поддающееся проверке вознаграждение (RLVR) обеспечивает надежный надзор за разработчиками программного обеспечения с помощью тестов, которые могут быть выполнены, но двоичные награды не позволяют провести различие между траекториями со значительно иным отладочным качеством. Мы изучаем вопрос о том, может ли нынешняя политика судить по своим собственным траекториям и использовать эти решения для улучшения выполнения задач без отдельно подготовленной модели вознаграждения. С этой целью мы внедряем метод поведенческого самовосстановления (BSR), который позволяет повторно использовать политику сопоставления наблюдаемого отладочного поведения траекторий с одним и тем же результатом проверки. БСО агрегирует парные преференции в локальные баллы и превращает их в ограниченные дополнительные вознаграждения, создавая контраст вознаграждения при сохранении определенных проверятелем пропусков/отказов. Это обеспечивает дополнительный контроль за уже собранными траекториями без необходимости новых экологических взаимодействий. Экспери