Реклама

Нет токенизера, все еще пробел: перекрестно-лингвальная справедливость гомоглыфа и невидимого воздушной маркировки

#Annuales #Type #Homoglyph #Вместо #Unicode

arXiv: 261 0.364332v 1 Annuales Type: новый резюме: Homoglyph и невидимые знаки - это водяные знаки на основе редактирования. Вместо того, чтобы изменить то, как модель создает текст, они скрывают сигнал в тексте после его написания. Они поменяют некоторые символы на гомоглифов, которые выглядят одинаково или очень похожи, но имеют разные точки кода Unicode, или они вставляют персонажи не отображаемые, все без доступа к модели, которая написала текст. Влажные знаки, обозначающие период времени между поколениями, работают в меньшей степени для языков с ограниченными ресурсами из-за того, как символизаторы делят свой текст. Потому что они работают на отдельных персонажах, эти водяные знаки никогда не касаются символизатора, поэтому мы спрашиваем, избегают ли они этого пробела. Из 40 языковых разновидностей в 24 сценариях мы измеряем пропускную способность (скрытые биты каждого персонажа могут нести), сколько из них выживают после обычной обработки и целенаправленного удаления, а также как много текста требуется для зашифрованного детектора. Вместимость варьируется в 3,3 раза, и на скрипт приходится 96% этого изменения. В латинском варианте уровень ресурсов