Совершенствование обоснования при заключении соглашения о внедрении для оптимизации политики на основе групп

arXiv: 261 030,34951v1 Тип уведомления: перекрестное резюме: последние методы укрепления обучения с поддающимися проверке ревардами (RLVR) используют многообразие развертывания для повышения производительности мышления или эффективности подготовки. Несмотря на эти достижения, до сих пор недостаточно ясно, в какой степени различия между правильными ответами отражают полезные альтернативные доводы или нерешенные ошибки. Мы расследуем этот вопрос с помощью анализа слепой пары модели, подготовленной совместно с группой по оптимизации политики (ГРПО), сопоставляя наиболее точные и самые низкие ответы на эту проблему. В 126 парах следы с низким согласием имеют более ложные доводы, чем высокосогласные следы (35% против 22%), включая внутренние несоответствия и неправильное использование проблемных условий. Исходя из этих выводов, мы предлагаем РОР ( " Rollout-Congory Reward &qot; ), который добавляет к вознаграждениям ГРП за проверенное и корректное внедрение. ROAR вычисляет этот сигнал от существующих групп по развертыванию политики, не требующих h