КЗНМ-Бенх: Контроль за интенсивным распространением знаний в долгосрочной форме ответов на вопросы в рамках многосторонних диалогов
arXiv: 25009.21856v2 Annuales Type: заменить резюме: MT-LFQA — это ключевая прикладная парадигма моделей большого языка (LMS) в наукоемких областях. Вместе с тем существующие контрольные показатели ограничиваются одним поворотным диалогом, в то время как критерии многостороннего диалога обычно позволяют оценить другие ортогональные возможности, а не наукоемкую фактологическую сторону. Для преодоления этого критического пробела мы введем текст bf — новый контрольный показатель, предназначенный для систематической оценки МТ-ЛУКА в отношении МЛМ во всех наукоемких областях, включая медицину, финансы и право. Чтобы точно оценить реальные результаты модели, KnowMT-Bench использует динамические параметры оценки, в которых модели создают свои собственные истории многооборотного диалога с логически прогрессивными последовательности вопросов. Наши эксперименты на различных ММБ свидетельствуют о явном ухудшении как фактического потенциала, так и эффективности передачи информации в рамках многостороннего диалога. Мы еще раз проверим глубину