Доминируют ли в МЛМ арабские диалекты современные стандарты на арабском языке (МСА)? Анализ уровня представительства

arXiv: 261 0.111510v1 Annualce Type: New Humber Abstract: Major Language Models (LMS) часто не соответствует современным стандартным арабским (MSA), когда генерирует арабский язык, даже если это вызвано диалектическим арабским. Естественное объяснение заключается в том, что в их внутренних представительствах доминируют СУУ. Мы проверяем эту гипотезу, адаптируя языковые рамки и доминирование Шани и Басирата (2025 год) (https://doi.org/10.18653/v1/2025. blackboxnlp-1.7) к 26 арабским разновидностям. В рамках различных слоев и образцовых семей мы не видим никаких свидетельств того, что СУУ выступает в качестве доминирующего внутреннего представительства на арабских диалектах. Вместо этого диалектические представления образуют плотное и сильно перекрывающее пространство: нормализованные взаимные падения информации резко падают по сравнению с схемами, сообщаемыми для более отдельных языков. Более того, наиболее сильный эффект разделения не ограничивается промежуточными слоями, а может смещаться в сторону последующих слоев в зависимости от архитектуры. Эти выводы ставят под сомнение общепринятое толкование понятия " необъективное производство в рамках СУУ: предпочтение, отдаваемое выпуску, не является