Модуль, ориентированный на закругление и локализованный для низкокачественной детоксификации моделей с большим языком

arXiv: 2606,30899v2 Annuales Type: заменить " recourt-brastract: atters backdors < представляет собой серьезную угрозу для крупных языковых моделей (LMM), поскольку в противном случае доброкачественные системы создают злонамеренное поведение, определенное нападавшим при наличии скрытого спускового устройства. В рамках этой работы мы изучаем постспециальную детоксикацию ЛММ в практической среде, где защитник имеет доступ к отравленной модели, но не желает переподготовить всю сеть с нуля. Мы предлагаем механистически управляемую систему ремонта пространства для взвешивания, которая сначала позиционирует модули, связанные с распространением инициирующего поведения с использованием активационного зашифрования и анализа кривизны Fisher/K-FAC, а затем применяет целенаправленный низкосортный ремонт только в отношении наиболее влиятельных модулей. Мы оцениваем метод на отравленных вариантах /texttt {Llama-3.2-1B-Regulation} спусковыми устройствами, вставленными в начало, середину и конец доброкачественных сигналов. Результаты свидетельствуют о том, что предлагаемый подход существенно подавляет индуктивную злонамеренную респо