Компьютерные науки > Машинное обучение [представлено 7 октября 2026 года] Название: Nullife: Noll-Space Activation Guide for Training-Free LLM Untening View PDF HTML (экспериментальный) Резюме: Большие языковые модели неизбежно интернализируют значительное количество чувствительной или частной информации в ходе предварительной подготовки, а необучение LLP направлено на выборочное стирание конкретных знаний во избежание утечки конфиденциальности при минимальной утрате полезности моделей. Однако существующие методы не позволяют сбалансировать качество и полезность и, как правило, сопряжены со значительными вычислительными расходами в связи с корректировкой параметров. Для решения этой проблемы мы предлагаем использовать метод Нуллификации, не предусматривающий подготовки и без разрушения системы рулевого управления для отказа от обучения на ЛЛМ. В Nullife используются векторы управления во время вывода о том, что активация, связанная с неприкосновенностью частной жизни, должна быть переориентирована на их запомненные ответы при одновременном соблюдении не имеющего отношения к пространству ограничения, которое по существу не влияет на поддержание полезности. Оценки TOFU и MUSE свидетельствуют о том, что в процессе обеспечения почти бесполезного сохранения полезности модели Nullife соответствует установленным базовым условиям или превышает их. Избегая полностью обновления веса, Nullify служит эффективной системой взлома и воспроизведения результатов. Дополнительные параметры…
Нулификация: Руководство по приведению в действие системы " Null-Space &qt; для отказа от обучения без обучения
arXiv: 261 010.10655v 1 Annuales Type: New Humber Abstract: Big Language Models (LMS) неизбежно интернализирует значительный объем конфиденциальной или частной информации в ходе предварительной подготовки, тогда как необучаемая LLD имеет целью избирательное стирание конкретных знаний для предотвращения утечки данных о личной жизни при минимальной утрате полезности модели. Однако существующие методы не позволяют сбалансировать качество и полезность и, как правило, сопряжены со значительными вычислительными расходами в связи с корректировкой параметров. Для решения этой проблемы мы предлагаем использовать метод Нуллификации, не предусматривающий подготовки и без разрушения системы рулевого управления для отказа от обучения на ЛЛМ. В Nullife используются векторы управления во время вывода о том, что активация, связанная с неприкосновенностью частной жизни, должна быть переориентирована на их запомненные ответы при одновременном соблюдении не имеющего отношения к пространству ограничения, которое по существу не влияет на поддержание полезности. Оценки TOFU и MUSE свидетельствуют о том, что в процессе обеспечения почти бесполезного сохранения полезности модели Nullife соответствует установленным базовым условиям или превышает их. Посмотрите.