Здравоохранительный агент Бэнч: Единый контрольный элемент реальных условий для охраны здоровья лиц, сталкивающихся с проблемами на границе

arXiv: 26063.1179v2 Тип уведомления: заменить перекрестное резюме: По мере того как агенты АИ становятся все более способными к сложным, долгосрочным рассуждениям, тщательная оценка имеет важное значение для измерения прогресса в деле обеспечения реальных видов применения услуг здравоохранения. Вместе с тем существующие контрольные показатели в области здравоохранения зачастую являются статичными или узкими по сфере охвата клинических заболеваний, что стимулирует более широкую оценку агентов на основе первичных данных о пациентах. Мы представляем HealthAgentBench, набор из 75 агентских задач в области здравоохранения по 9 категориям с уникальной средой. Базовый набор охватывает диагностику, оценку образцов, исследования и процессы управления данными, а также широкий круг форм. Каждая задача призвана воспроизвести конечный клинический рабочий процесс: при наличии инструкций по выполнению задач и вспомогательных ресурсов агент должен изучать необработанные данные о здравоохранении, работать в сложной среде и выполнять многоэтапные решения, выходящие за рамки наивного возбуждения, такие как поиск больших баз данных или интерпретация гигапиксельных снимков патологоанатомов. Все татуировки