Когда нам нужно перегонять политику? Часто лучше знакомиться с показом на выставке студентов

arXiv: 2610.11291v1 Annualce Type: New Humber: On-Policy Distillation (ODC) стала все более популярной для передачи преподавательских способностей в студенческие модели. В этой работе мы задаем критически важный вопрос: всегда ли выборка на уровне политики приносит пользу в деле размножения произвольных пар между учителями и учащимися? Мы показываем, что простая альтернатива - полу-ОРД, которая является результатом офлайнового развертывания, генерируемого первым студентом, может часто превзойти ОДП как с точки зрения точности, так и эффективности обучения. В 17 парах между учителями и студентами, состоящих из 1,5B - 235 B параметров, в 14 случаях Семи-ОРД опережает ОДП с точностью до +13,6% и ускорением 11.4x подготовки. Мы также считаем, что выбор между ОДП и Семи-ОРД зависит от соответствия между первоначальным преподавателем и студентом, определяемого по коэффициенту совпадения результатов: ОУП является выгодным только в том случае, если оба эти показателя четко увязаны с высокими коэффициентами дублирования. Наше углубленное расследование предполагает, что эффективная дистилляция требует от государственного органа по вопросам политики