МетаопД: Ученый токен, взвешивающий для дистилляции на уровне политики

arXiv: 2610.10.1989v1 Annualce Type: New Humber: On-Policy Distillation (ODC) обучает одного студента самостоятельно, готовя ответы с помощью символического контроля за работой учителей. Вместе с тем в единообразных весовых коэффициентах не учитываются различия в условном значении обучения, а существующие методы взвешивания основываются на предопределенных картах от сигналов прогнозирования до символических весов. Эти карты не извлекают уроков из эффективности полученных в результате обновления знаний учащихся, что ограничивает их способность адаптироваться к меняющимся потребностям обучения. В этом документе мы предлагаем MetaOPD - систему оптимизации на двух уровнях, которая совместно учится студенческой модели и легковесной сети взвешенных символов. Внутренняя цель обновляет учащихся с помощью взвешенного OD, а внешняя задача оптимизирует систему взвешивания с использованием потери в подтверждении справочных решений после виртуального обновления учащихся. Дифференцирование через это обновление увязывает решения о взвешивании с их воздействием на эффективность после обновления, позволяя картировать от сигналов прогнозирования до символа w