Перевод с базы на дистилляционные языковые модели, несмотря на ротацию

arXiv: 261 0355586v 1 Тип анонсации: перекрестное резюме: линейные зонды, классификаторы считывающие внутренние активации модели языка широко используются для обнаружения вредных запросов. Они дешевле тренируются и убегают, а аудитор, который его обучает, хотел бы использовать их в тех случаях, когда модель заменяется преемником, вместо того чтобы переподготовить ее к каждому выпуску. Мы проверяем, как хорошо можно использовать зонды. Для четырех базовых моделей (Qwen2,5-Math-7B, Llama-3.1-8B, Qwen2.5-14 B, Qвен2,5-32В) мы обучаем зонд на базовой модели с помощью оперативного набора XSTest и применяем его без изменений к двум преемникам этой базы: дистиллированной модели рассуждений DeepSeek-R1 и модели чата разработчиков, адаптированной к инструкциям. Мы считаем, что преемники поворачивают направление отделения от безопасных сигналов на 17 долл. США ~ около 35 долл. На XSTest, чьи безопасные сигналы вскрываются