Компьютерные науки > Машинное обучение [представлено 22 мая 2026 (v1), последний пересмотренный вариант от 26 октября 2026 года (эта версия, v2)) Название: Stroug учитель не нуждается? В отношении дистилляции в LLM PDF HTML (экспериментальное) резюме: " Знания о перегонке > , как правило, предполагают сильные и слабые отношения, при которых более крепкие учителя улучшают качество учащихся. В ходе этой работы мы изучаем это предположение о перегонке на большой языковой модели предварительной подготовки. Благодаря различным размерам архитектуры и формальным бюджетам обучения мы создаём сильные и слабые отношения между учителями и учащимися, а также изучаем эффективность дистилляции в каждой из них. Мы считаем, что учитель не должен быть сильным: при правильном сочетании языковых моделей и потерь дистилляции знаний даже небольшие и недостаточно подготовленные учителя улучшают положение более крупных учащихся. В то же время более сильный учитель не всегда лучше: подталкивание учителя, посредством большего числа параметров или дополнительных тренировочных знаков, может сатурировать или даже обратить вспять рост дистилляции. Мы также отмечаем, что перегонка повышает степень обобщения (нераспределение и производительность ниже по течению) более легкой, чем установка на месте. Вместе эти результаты ставят под сомнение общую убежденность в том, что предподготовка к перегонке всегда требует сильного учителя. История представления: Taiming Lu [видение электронной почты] [v1]…
Сильный Учитель не нуждается? О перегонке в LLM Предварительная подготовка
arXiv: 2605,23857v2 Тип объявления: заменить перекрестное резюме: дистилляция знаний, как правило, предполагает крепкие и слабые отношения, при которых более сильные учителя улучшают качество учащихся. В ходе этой работы мы изучаем это предположение о перегонке на большой языковой модели предварительной подготовки. Благодаря различным размерам архитектуры и формальным бюджетам обучения мы создаём сильные и слабые отношения между учителями и учащимися, а также изучаем эффективность дистилляции в каждой из них. Мы считаем, что учитель не должен быть сильным: при правильном сочетании языковых моделей и потерь дистилляции знаний даже небольшие и недостаточно подготовленные учителя улучшают положение более крупных учащихся. В то же время более сильный учитель не всегда лучше: подталкивание учителя, посредством большего числа параметров или дополнительных тренировочных знаков, может сатурировать или даже обратить вспять рост дистилляции. Мы также отмечаем, что перегонка повышает степень обобщения (нераспределение и производительность ниже по течению) более легкой, чем установка на месте. Тогета
