Компьютерные науки > Расчет и язык [представлен 17 июля 2026 года] Название: "Ограничения BPE токенизации на польском языке: сегментация-гибкие формы, графический анхоринг и стабильность первого лица в модели нефлексального языка View PDF Abstract: Эта статья анализирует символизацию BPЕ на польском языке как тестовый пример пределов статистической сегментации на инфляционном языке. В нем задается вопрос о том, сохраняет ли символизация на основе частоты языковые единицы, включая орфографическую форму, телефонную и стиллабочную сегментацию, производную структуру, инфлекционные концовки, грамматические формы и говорящую тему. Материалы включают в себя диагностические слова, детский текст, отдельные формы от преамбулы до Конституции Республики Польша, тесты на наличие слов и примеры с польскими диакритиками и носовыми гласными. Символизаторы BPE могут производить сегменты, которые совпадают с стиллабичными или морфологическими подклассами, но по-прежнему зависят от частоты письменных форм. Они не систематически картируют орфографическое представление на телефонной структуре или в зависимости от контекста. Результаты показывают, что BPE стабилизирует частые поверхностные фрагменты грамматических экспонатов вместо самих грамматических категорий. Такая форма, как эстанавиамия - это не просто последовательность, заканчивающаяся в y, но и устная форма, привязанная к браку, человеку, количеству, напряжению, настроению и аспекту. В статье развивается понятие грамматического якоря. На…
Пределы токенизации BPE на польском языке: сегментация-гибкие формы, графический антхоринг и стабильность первого лица в модели языка инфлекции
arXiv:2609.17553v1 Аннонс Тип: новое резюме: В этой статье анализируется символизация BPE на польском языке в качестве опытного образца пределов статистической сегментации на инфлекционном языке. В нем задается вопрос о том, сохраняет ли символизация на основе частоты языковые единицы, включая орфографическую форму, телефонную и стиллабочную сегментацию, производную структуру, инфлекционные концовки, грамматические формы и говорящую тему. Материалы включают в себя диагностические слова, детский текст, отдельные формы от преамбулы до Конституции Республики Польша, тесты на наличие слов и примеры с польскими диакритиками и носовыми гласными. Символизаторы BPE могут производить сегменты, которые совпадают с стиллабичными или морфологическими подклассами, но по-прежнему зависят от частоты письменных форм. Они не систематически картируют орфографическое представление на телефонной структуре или в зависимости от контекста. Полученные результаты показывают, что BPE стабилизирует частые поверхностные фрагменты граммы