Перегонка цепи
arXiv:2509.25002v2 Annualce Type: заменить резюме: перегонка модели обычно сосредоточена на поведенческих имитации, где студенческая модель обучена копировать результаты работы учителя при рассмотрении внутренних вычислений как черной коробки. В рамках этой работы мы предлагаем альтернативный подход: использование базовых вычислительных механизмов, применяемых моделью учителя. В частности, мы предлагаем перегонку цепи, которая ставит перед собой цель согласовать внутренние представления между аналогичными элементами схемы в моделях для учителей и учащихся. Мы предлагаем метод, позволяющий сопоставлять элементы цепи с "функциональным корреспондентом" и вводить потери, отражающие схожесть между представлениями, которые они вызывают. Мы оцениваем дистилляцию цепи на задачи отслеживания образования и теории сознания (TOM) с использованием моделей из семейства Llama3. Наши результаты свидетельствуют о том, что перегонка цепи превзошла стандартную дистилляцию, успешно передав алгоритмические способности путем корректировки только небольшой, t