Скриптовая фрагментация и формат: Что движет англо-бенгалийским разрывом в Open LMS?

arXiv:2507.23248v2 Annualce Type: заменить кросс-бюллетень: на бенгальском языке говорят более 230 млн. человек, однако ни один стандартизованный инструмент не дает оценку крупным языковым моделям (LMS) в Бенгалийском регионе по целевым категориям, используемым для сопоставления пограничных моделей. Мы выпускаем 8 английских контрольных показателей, переведенных на бенгальский язык с единым последовательным трубопроводом и используем их для оценки 10 открытых МЛМ из 4 семей по парным материалам английского языка и бенгали. Скриптная фрагментация — это то, что подсловные символики делают с альфасиллабарий Бенгали, чьи письменные единицы представляют собой графемы, охватывающие несколько точек кода Unicode: они разрезают сценарий на куски меньше персонажа по стоимости, установленной терминологией, а не самим сценарием. Формат относится к оценке, ответ формирует точный матч-оценку требований независимо от того, знала ли модель ответ. Помимо подтверждения существенного пробела (показатель Макро LLM-судья на английском языке 0,79 по сравнению с 0,63 в бенгальском), мы продемонстрировали, что часть этого является измерительным артефактом: e