Компьютерные науки > Машинное обучение [представлено 17 июня 2026 (v1), последний пересмотренный вариант от 8 октября 2026 года (эта версия, v2)) Название: Learning from Super Solutions: самоконтролирование кредитной передачи для укрепления обучения с поддающимся проверке ревардным взглядом PDF Abstract: Восстановление обучения при поддающихся проверке поощрениях (RLVR) привело к существенному прогрессу в обучении МПМ для выполнения задач по обоснованию, однако такие репрезентативные методы, как GPO, выделяют единообразные кредиты во всех символах, тратят градиент на обычные символы и недофинансируют основные шаги аргументации. Существующие методы предоставления кредитов на уровне символов требуют ресурсов, выходящих за рамки собственной реализации модели. Варианты GRPO основаны на моделях вознаграждения за процессы или ответах, касающихся правды. Перегонка знаний дает возможность получать кредиты в результате каждого случая расхождения, но требует привлечения внешних преподавателей (распространение информации по вопросам политики) или конфиденциальной информации (самопереработка по политическим соображениям). Однако эти зависимости ограничивают применимость в режиме чистого РЛВР. Мы отмечаем, что кондиционирование модели на основе проверенных траекторий вызывает измеримое расхождение между первоначальными и обусловленными распределением КЛ и доказывает, что диктование у самостоятельного учителя, построенного с помощью проверенных трайлеров, приводит к неосуществимым…
Извлечение уроков из собственных решений: самостоятельное предоставление кредитов для укрепления обучения поддающимся проверке репарациям
arXiv: 2606.18810v2 Annuales Type: заменить перекрестное резюме: усиление обучения с поддающимися проверке наградами (RLVR) привело к значительному прогрессу в обучении МПЛ для выполнения задач по обоснованию, однако такие репрезентативные методы, как GPO, выделяют единообразные кредиты во всех символах, тратят градиент на обычные символы при недостатке ключевых шагов. Существующие методы предоставления кредитов на уровне символов требуют ресурсов, выходящих за рамки собственной реализации модели. Варианты GRPO основаны на моделях вознаграждения за процессы или ответах, касающихся правды. Перегонка знаний дает возможность получать кредиты в результате каждого случая расхождения, но требует привлечения внешних преподавателей (распространение информации по вопросам политики) или конфиденциальной информации (самопереработка по политическим соображениям). Однако эти зависимости ограничивают применимость в режиме чистого РЛВР. Мы наблюдаем, что кондиционирование модели на своих собственных проверенных траекториях вызывает измеримое расхождение между первоначальными и обусловленными распределением KL и доказывает это диктование от самостоятельного учителя, построенного вери
