Не все изменения необходимы: восстановимый дрифт в большой языковой модели

arXiv: 2610.11915v1 Annuate Type: New Habstractive: Machine Untening in крупноязычные модели направлены на удаление ненужных знаний при сохранении оставшихся возможностей модели. Несмотря на то, что существующие методы используют цели удержания или ограничивают возможности редактирования, достижение желаемого уровня забвения все же может оставлять сопутствующие изменения, которые подрывают нецелевое поведение. Наши сопоставления показателей восстановления свидетельствуют о том, что некоторые из этих изменений можно обратить вспять при сохранении наблюдаемой забвенности. В этой работе мы представляем предложения по проекту " Необучение &qt; (PTP-U) - рамки, которые сочетают целевое забытие с восстановлением нецелевых возможностей. PTP-U сначала применяет местные аналитические редактирования для ослабления целевых ассоциаций знаний, а затем приводит нецелевые показатели распределения выходных данных в соответствие с показателями первоначальной модели для восстановления возможностей при сохранении фиксированных ограничений забвения. Оба этапа служат общей цели: удовлетворение требований в отношении забвения при сохранении свободного поколения и перфорации