Рекал: калибровка структурированного скручивания в целях восстановления дистилляции на уровне политики
arXiv: 2610.11332v1 Аннонс Тип: новое резюме: Структурированная серфингия сокращает расходы на внедрение языковых моделей для рассуждений, однако вызванная этим деградация потенциала может препятствовать последующему восстановлению в рамках политики дистилляции (ОПД). Поскольку ОДП опирается на траектории, созданные студентами, повреждения от серфинга после перегонки могут ограничить его эффективность. Мы предлагаем RCAL, калибровку для восстановления, простой подход к втыканию и воспроизведению, который улучшит восстановление OPD путем корректировки калибровки перед скручиванием. RECAL использует форвардный KL между неподготовленным учителем и серпом для выявления поддерживаемых учителями прогнозов, нарушенных в результате резьбы, а затем перевешивает статистику калибровки, чтобы направлять существующие критерии скручивания в целях сохранения этих прогнозов. В рамках нескольких моделей и методов серфинга RECAL последовательно совершенствует математические рассуждения после OPD, достигая прибыли в размере до 16,7 процентных пунктов по AIME наряду с улучшением большинства сопоставлений кодового поколения. Дальнейший анализ показывает
