TextCloak: Защита данных от несанкционированного LLM Fine-Tuning с помощью RL-Driven Необучаемые примеры

arXiv: 2607.28862v2 Annuales Type: заменить перекрестное резюме: Разработка моделей большого языка (МЖЛ) привела к значительным успехам в решении широкого круга языковых задач, одновременно вызывая растущую озабоченность по поводу несанкционированной эксплуатации онлайновых данных и утечки конфиденциальности. Неизученные примеры (НЭ) становятся многообещающей защитой, вводя искусственное искажение данных таким образом, чтобы модели, подготовленные на них, демонстрировали деградирующую полезность. Вместе с тем существующие методы защиты текстов в первую очередь предназначены для решения задач классификации и использования дискриминационных языковых моделей, что ограничивает их широкую применимость (например, обучение после или аргументация) в МЛМ. В рамках этой работы мы предлагаем**TextCloak** - систему обобщения данных, разработанную на основе RL и гарантирующую использование текстовых данных в случае несанкционированной доработки LLM. В TextCloak используется *UE generative policy*, которая преобразует чистый текст в неизученные примеры при сохранении семантической верности и языковой натуры. Для оптимизации политики мы