ДИАЛ-ОПД: Учиться больше у меньшего числа токенов в дистилляции на месте
arXiv: 2610.11659v1 Аннот (новое резюме): Отдел внутренней политики осуществляет надзор за подготовленными студентами траекториями с сигналами учителя уровня символики. Его выбранный вариант позволяет избежать издержек, связанных с полными вероятностями голосов. Тем не менее, мы считаем, что обучение меньшему количеству символов может превзойти полностью забитое ОДП, бросая вызов интуиции о том, что большее наблюдение улучшает процесс обучения. Это мотивирует выбор символов по познавательной ценности. Существующие критерии, основанные на несогласии, игнорируют шкалу вероятности: символы, присвоенные обеим моделями и называемые низконизкими символами, могут получать большие log-соотношения вознаграждения и препятствовать обучению. Мы предлагаем ДИАЛ-ОДП, метод выбора символов, который соединяет вероятность логарифмической вероятности и вероятностные пространства путем взвешивания размера вознаграждения со средним логическим значением вероятности учителя и студента. Этот вес контролируется параметром бета, и сохраняются наиболее заметные символы. Из 4 пар преподавателей и учащихся и 7 математических критериев мы сравниваем DIAL-OPD с 9 базовыми