Защита от тёмного искусства дистилляции: неконтролируемое открытие подлимового обучения

arXiv: 2610.13536v1 Annuate Type: новый резюме: Когда языковая модель отделяется от учителя, который разделяет ее базовые параметры, студент может наследовать поведенческие черты учителя - включая неправильное согласование - даже из данных, которые не имеют семантически никакого отношения к данной характеристике (Cloud et al., 2026). Все существующие средства защиты требуют знания особенностей. Мы отменяем это требование и докажем, что сублимально перенесенная черта может быть извлечена только из обновления параметров без надзора путем использования единой асимметрии: эта особенность последовательно проявляется в различных наборах данных, генерируемых учителем, тогда как конкретные задачи и общие возможности различаются. Получаемый в результате анализ возвращает направление весового пространства, которое может быть увеличено для обнаружения и интерпретации характеристик или прогнозируется для их подавления. Применяемый к подлиминальным показателям обучения (Cloud et al., 2026) наш метод восстанавливает передаваемые характеристики привязки к животным без каких-либо знаков и подавляет их экспрессио