Является ли морфологическая корректность значением для токенизации? Исследование по вопросам контроля в тагалоге

arXiv: 261 020.20859v1 Annuate Type: New Brieflow: Tipology-ware Scerimizers мотивируется утверждением о том, что сегментация, при которой соблюдаются границы морфема, сохраняет информацию, которая уничтожает сегментацию с помощью частоты. Исследования обычно показывают, что при принятии границ они должны быть лингвистически правильными. Мы разделим их. Тагалог указывает голос с помощью инфиксов (s-um-ulat 'Wrote', s-in-ulat' был написан), так что корень не является примыкающим и ни одна последовательность BPE не может восстановить его. Мы строим MorphAustro-Tok, символизатор, который излучает корень как прилежащую единицу, за которым следует позиционный знак инфикации, и сопоставляем его с исходным значением BPE в совокупности и на двух из трех уровней рождаемости с отмывчивым морфелом, сохраняющим число морфов, перевертность и последовательность в каждом типе, а также произвольное псевоиндиксирование. В течение 33 прогонов MorphAustro-Tok улучшает перевод тагалогового машинного перевода по сравнению с BPE на 0,84, 1,49 и 3,40 средние значения chrF+. Токен ку