Меджев: Оценка системы " нулевой выстрел-один процесс принятия решений в медицине

Компьютерные науки > Расчет и язык [представлен 26 октября 2026 года] Название: MedJev: Оценка системы нулевого выстрела - Одно решение в медицинском виде HTML PDF (экспериментальное) Резюме: Система 1 модели решения, такие как Jev, отвечает на структурированные вопросы в едином переднем проходе без подготовки текста, обеспечивая быструю и расчетно эффективную поддержку клинических решений. Мы оцениваем MedJev, открытую систему 1, которая работает на ноутбуке по десяти медицинским критериям в области медицинских знаний, диагностики и прогнозирования уровня пациентов с использованием MIMIC IV и MEMICIV ED. Мы сравниваем MedJev с нулевым исходным уровнем LLM, опубликовали результаты GPT и контролируемые модели. Меджев достигает точности в 72,5% на MedQA, 75,4% на USMLE и 80,1% на NEJM, приближаясь к опубликованным показателям GPT 4 при сохранении хорошо калиброванных оценок достоверности (ECE 0.028-0,063). Что касается работы на уровне пациентов, то Меджев достиг AUROC 0,926 в случае смертности в больницах, превышающей XGBoust (0.902), но ниже моделей контроля за результатами оперативной деятельности, таких как ED Triage Access (0,745 против 0,809). Прогнозы уровня пациентов также свидетельствуют о существенной неправильной калибровке (в случае больничной смертности - ECE 0,286). Мы введем легкий метод перекалибровки двух параметров, который адаптирует прогнозы к местным популяциям пациентов с использованием 50 - 200 помеченных примеров, что снижает ЕЭК до 0,007. Наши…