На каждый язык свой токенизер: модульные токенизаторы для эффективного многоязыкового МПМ
arXiv: 26009.15528v1 Annuate Type: New Habrial: Multilitary Language Models (LMS) традиционно опирается на единый словарь, разделяемый всеми поддерживаемыми языками, что может привести к неравномерном...