От сольверских траекторий к преподаванию трансфертов: увязка когнитивных факторов, вызывающих дистилляцию

arXiv: 261 0366445v1 Annuate Type: New Human Extravision: Knowledge Distillation by Models (LRM) часто использует необработанные траектории учителей в качестве надзора. Однако эта практика создает несоответствие между целью перегонки и характером траекторий для учителей. Усовершенствованные ЛЛР, как правило, повышают свои умения рассуждать с помощью наградной послеучебной подготовки, такой как РЛХФ. Эта подготовка оптимизирует их как сильных решающих вопросов, а не как учителей, которые производят процессы рассуждения, более мелкие модели могут легко учиться. Поскольку более мелкие модели обладают различными "когнитивными способностями" по сравнению с их более крупными учителями, прямое воспроизведение первичных траекторий для учителей иногда может быть неэффективным и зачастую требует значительного количества высококачественных образцов. Для устранения этого несоответствия мы предлагаем систему, основанную на методе локации, которая преобразует траектории режиссёров в учебные траерории, согласующиеся с когнитивом учащихся. Избегать дорогостоящего перевыбора, наш фра