Когда все развороты не срабатывают: программно-совместимое совместное декодирование для обоснования жесткого промежутка

arXiv: 261 030.36849v1 Annualce Type: New Humber: Supporting Learning with Vermided Rewards (RLVR) получает свой учебный сигнал от двоичных наград посредством изучения политики и становится мощной парадигмой для совершенствования рассуждения моделей большого языка. Тем не менее, она сталкивается с обрывом знаний по проблемам, выходящим за рамки текущей способности модели: когда каждая развертываемость проваливается, образцы ничего не обнаруживают о правильном решении и групповые оценки (например, GPO, RLOO) рушат обновление в нулевое преимущество. Экспертные траектории предлагают решение проблемы, но они несовместимы с нынешней политикой и часто находятся в регионах с низкой вероятностью для учащихся, поэтому выжившие обновления требуют значительных изменений параметров и распада в моделировании поверхности, а не переносимых рассуждений. Мы считаем, что полезный учебный сигнал по сложным проблемам должен быть как проверяемым, так и в достаточной степени совместимым с нынешней политикой. Мы предлагаем организовать обучение по вопросам политики, совместимое с политикой (ПКО), которое обеспечивает дистрибьюторскую подготовку.