Могут ли языковые модели играть в Википедию?

arXiv: 2610.13948v1 Annuales Type: New Express: Language Models все больше поддерживает или автоматизирует поиск информации из коллекций документов слишком большой для индексации. Эта задача трудна, когда она требует специальных языковых или научных знаний. Мы использовали игру Википедии, чтобы проверить языковые модели на аналогичной задаче поиска информации. В игре игроки должны достичь целевой статьи, используя только ссылки на статьи. Мы сравнили модели и МЛМ для привязки к пяти языкам Википедии, а также пять подборок данных по академическим дисциплинам. Мы составляем очень большие местные графики страниц Википедии и бумажных ссылок с использованием OpenAlex, а также наводим коды для их построения и навигации. Это позволяет изучать навигационные возможности языковых моделей, не опираясь на АПИ третьих сторон. Мы сравнили эти модели с показателями человека и ЦГ-ИДФ. Формат игры Википедии позволяет проводить надежные сопоставления между методами, языками и областями. Ни одна модель не намного опережает людей, хотя лучший мод