Оценка географических знаний на крупных языках в 21 испаноязычной стране

Компьютерные науки > Расчеты и язык [представлен 10 февраля 2026 года (v1), последний пересмотренный вариант от 27 октября 2026 г. (эта версия, v2)) Название: Оценка географических ликсических знаний в крупных языковых моделях по 21 португалоговорящей стране Ви PDF HTML (экспериментальный) резюме: модели большого языка (LMS) все чаще обслуживают пользователей во всех региональных сортах, однако их знания о географических lexical вариациях остаются недостаточно оцененными. Мы расследуем суждения о применении лексики на испанском языке при соблюдении условий страны, используя базу данных экспертов по 934 лексическим предметам в 21 испаноязычной стране. Рассматривая десять защищенных правами собственности и открытых по весу МЛМ в качестве виртуальных информаторов, мы оцениваем два дополнительных формата вопросов: формат да-нет вопроса (YNQF) и формат многорезонтного ответа на вопросы (MCQF). Оценка включает 10 164 вопроса о YNQF и 16 637 вопросов о MCQF, которые оцениваются с использованием F1 и скорректированного коэффициента Jaccard соответственно. Результаты свидетельствуют о существенных различиях между моделями, странами и форматами. Испания получает самый высокий балл на страновом уровне по восьми моделям в YNQF и девяти в MCQF; Чили - самый низкий балл MCKF для каждой модели. Анализ регрессии показывает, что цифровой объем ресурсов в целом более тесно связан с показателями YNQF, тогда как лексическое расстояние от Испании больше связано с результатами MCQF. Эти выводы…