" RutricAtlas: Добыча &q бывшего типа &qt; < Рубрик-классы из докладов экспертов в целях оценки деятельности глубоководных исследовательских агентов

Компьютерные науки > Искусственный интеллект [представлен 27 октября 2026 года] Название: RubricAtlas: Mining Type-Reports to Evaluation Deep Research Agents View PDF HTML (экспериментальное) Резюме: Глубинные исследовательские агентства проводят многоэтапный поиск в Интернете и обобщают информацию, собранную в аналитических докладах. Оценка этих результатов требует проверки того, какой анализ они проводят, помимо наличия соответствующих фактов. Связанные с конкретными запросами двоичные рубрики делают индивидуальные требования четкими, однако контрольные перечни задач могут оставить общую аналитическую структуру в поле зрения. Мы введем систему RubricAtlas, которая определяет аналитические требования на уровне типов из докладов экспертов по различным объектам одного и того же типа исследований и организует детальные проверки повторяющихся аналитических вопросов. В соответствии с этими требованиями соответствующие задачи определяются общим стандартом для того, что следует анализировать, без указания их ответов. Наша рамочная основа связывает двоичные контрольно-пропускные пункты с тем, чтобы сообщать отрывки и оценивать полноту отдельно от аргументации. Из 3 079 китайских отчетов о финансовых исследованиях RubricAtlas охватывает 99 видов исследований. Эксперименты по отбору справочных докладов показывают, что отдельные доклады охватывают лишь половину аналитических вопросов их типа и что выбор требований из различных отчетов меняет оценки и рейтинг агентов. Из десяти агентов…