За вопросами: оценка государственного знания МЛ

arXiv: 2605,26937v4 Тип объявления: заменить перекрестное резюме: Параметрические знания в крупных языковых моделях (LMS) являются основой их успеха, однако они по-прежнему плохо понимаются. Существующие критерии знаний, как правило, основываются на заранее определенных вопросах (например, "Какова дата рождения М.Л. King?), анализ только знаний, которые разработчики эталонных моделей прямо предпочитают задавать вопросы - проблематичное отклонение доступности. В настоящем документе мы введем открытую оценку знаний, новую парадигму для установления контрольных параметров заявленных знаний о МУП. Вместо того, чтобы задавать узкие вопросы, он оценивает модели знаний, которые они выбирают для появления в ответ на открытые сигналы (например, "Расскажите мне все что вы знаете о M.L. Король). Это переносит акцент с предопределённого поиска ответов на описание моделей знаний, естественно выраженных. Мы привязываем эту парадигму к BeQu (Beyond Questions) — контрольной величине, состоящей из 10 000 единиц в паре со справочной Corpora для проверки заявлений. Используя Беку, мы