Состояние и судьба многоязычной, контекстуальной оценки в мире НЛП

arXiv: 261 030,36990v1 Вид уведомления: новое резюме: Многоязычные критерии оценки являются основным инструментом для определения того, не обобщаются ли модели крупных языков за пределами английского языка, однако адекватность этих контрольных показателей была подвергнута незначительному систематическому анализу. Мы представляем результаты проведенной в последнее время проверки 51 многоязычного контрольного показателя, охватывающего 242 набора данных и 219 языков, которая была организована по трем основным направлениям: охват, репрезентативность и окоченение. Наш анализ показывает, что охват широк, но незначителен: 36% из проанализированных языков представлены лишь в одном контрольном показателе; целые регионы (Океания, Америка и Центральная Азия) почти нулевой показатель, а огромный разрыв между показателями справедливости оставляет за собой низкоресурсные языки, оцениваемые только по 1 - 3 целевым категориям, против 14 для высокоразвитых языков. Структурно представленность скомпрометирована: перевод с английского по-прежнему является доминирующей стратегией строительства, где 56% всех примеров на языке данных переводятся с использованием артефактов и англоцентричных форм, в то время как cu