Что выживает после перегонки? Механистическое исследование интерпретируемости ГПТ-2 и дистилГРПТ-2

arXiv:2610.37157v1 Annualce Type: New Habstratement: Knowledge Distillation сжимает большие языковые модели в компактных учащихся, сохраняющих агрегированные показатели, однако механистические последствия дистилляции глубины остаются во многом нехарактерными. В этой работе используются линейные данные CKA, анализ линз logit, разложение сериала внимания, статистика параметров малой автоенкодерной системы и зачистка активации для сравнения GPT-2 и его шестислойного студента DistilGP-2 в двух канониальных схемах: цепи косвенного идентификации объекта (ИОИ) и цепочки Большого Тханского (ГТ). Полученные результаты свидетельствуют о дихотомии между компрессионными и сломанными системами: в районе IIO наблюдается полный механистический крах (DistilGPT-2: 35,2% точности по сравнению с 94,8%, нулевой уровень защиты имени), тогда как GT-образец выживает при 87,7% восстановлении производительности путем активного повторного отображения уровня 9 учителя на уровне учащихся ~4 (Mean Pearson r = 0,945). Эти выводы показывают, что сжимаемость цепи регулирует mecha