QO-Bench: " Диагнозирование запроса - Operator - PCREVAL &qt; по сравнению с Tuples

arXiv: 260604646v2 Annuates Type: заменить резюме: многие реальные вопросы по бизнесу, правовым и научным вопросам являются естественными вариантами запросов в стиле базы данных над записями скрытым текстом. Существующие системы поиска (RAG) оптимизированы главным образом для обеспечения семантической значимости, однако поиск достоверных путей не гарантирует правильного выполнения запроса. Мы введем QO-Bench, диагностический критерий для вопроса о запросе-операторе, отвечающий за напечатанные штучки событий. Этот контрольный показатель охватывает 22 984 новостных статьи и 614 корпоративных мероприятий, при этом 18 формуляров запросов содержат 785 вопросов. Каждый золотой ответ детерминально вычисляется из напечатанных штуковин событий и забивается по отзыву, при этом ответы совпадают с золотыми тюльпанами точным совпадением, а не судьей LLM. Этот проект позволяет диагностировать на уровне оператора, например соединять и пересечь. Мы оцениваем РАГ, ReAct RAG, ГрафРАГ и передачу информации в SQL при соответствующих условиях с длинным контекстом оракул цейлин