Расчет загрязнения данных об обучении в Китае от их токенов

arXiv: 25008.17771v3 Тип уведомления: заменить резюме: Tokens - основные элементы в наборах данных для обучения на ЛУЗИ. Хорошо известно, что многие символы, представляющие китайские фразы в словаре ГПТ (4o/4o-mini/O1/o3/4,5/4.1/ o4-Mini), указывают на содержимое, такое как порнография или онлайн азартные игры. Исходя из этого наблюдения, наша цель состоит в том, чтобы найти загрязненные китайские (PoC) символы в MLM и изучить связь между существованием POC-образных знаков и данными об обучении. 1) Мы предлагаем официальное определение и таксономию символов PC на основе словаря GPT. 2) Мы строим PC-контактный детектор посредством уточнения LLM для маркировки PS-символов в словарьях путем изучения как семантики каждого символа, так и содержимого из поисковых систем. (3) Мы изучаем предположение о загрязнении данных обучения через появление opC-модели (точенная идентификатор). Эксперименты на GPT и других 23 MLM показывают, что в то время как словарь ГПТ ведет себя хуже: более 40% длинных китайских жетонов (т.е. символ с mo)