Компьютерные науки > Машинное обучение [представлено 27 октября 2026 года] Название: Proposaling Better Rallouts for On-Policy Distillation View PDF HTML (экспериментальное) Резюме: On polical дистилляция (ODD) улучшает языковую модель после обучения, позволяя учащемуся учиться на своих собственных выборочных траекториях под наблюдением учителей, увязывая процесс подготовки с поведением в предпоследнее время. Однако политика внедрения в ОДП обычно рассматривается как фиксированная: каждый круглосуточный отбор проб производится непосредственно от текущего студента. Мы показываем, что этот выбор может создать комбинирующий учитель-ученик несоответствие, потому что он требует от учителя эффективного контроля за любыми траекториями, которые могут быть получены в ходе отбора образцов учащихся, включая те из них, к которым сам учитель имеет меньше доступа. На таких траекториях надзор за учителями может стать шумным или даже вводящим в заблуждение, что приводит к нежелательным примерам учащихся, таким как повторение. Кроме того, поскольку обновленный учащийся в свою очередь определяет политику проведения последующих раундов обучения, эти тенденции сохраняются и потенциально усиливаются по сравнению с профессиональной подготовкой. Этот режим отказа предполагает, что совершенствование ОДП требует рассмотрения самой политики развертывания в качестве цели оптимизации, а не только изменения цели дистилляции. Мы предлагаем использовать предложение о перегонке политики (MPOPD), которое…
Предложение о том, чтобы лучше развертывать деятельность в рамках политики
arXiv: 261 0366477v1 Аннот. Новое резюме: Перегонка в рамках политики (ОПД) улучшает языковую модель после прохождения обучения, позволяя студенту учиться на своих собственных отобранных траекториях под наблюдением учителей и увязывая процесс подготовки с поведением, основанным на предпочтении времени. Однако политика внедрения в ОДП обычно рассматривается как фиксированная: каждый круглосуточный отбор проб производится непосредственно от текущего студента. Мы показываем, что этот выбор может создать комбинирующий учитель-ученик несоответствие, потому что он требует от учителя эффективного контроля за любыми траекториями, которые могут быть получены в ходе отбора образцов учащихся, включая те из них, к которым сам учитель имеет меньше доступа. На таких траекториях надзор за учителями может стать шумным или даже вводящим в заблуждение, что приводит к нежелательным примерам учащихся, таким как повторение. Кроме того, поскольку обновленный учащийся в свою очередь определяет политику проведения последующих раундов обучения, эти тенденции сохраняются и потенциально усиливаются по сравнению с профессиональной подготовкой. Этот режим отказа предполагает, что для совершенствования OPD требуется лечение политологии при запуске
