MIS-VQA: Набор данных с аннотацией - Driven Surgical Vision - Language для комплексного хирургического понимания

arXiv:2610.34210v1 Annuaire Type: New Humber Abstractive: Modern Currical IA все больше требует мультимодального понимания, а не изолированного восприятия; однако существующие наборы данных по-прежнему в значительной степени ограничиваются одним целевым надзором, таким как распознавание или ответы на вопросы с помощью шаблона. Текущие медицинские ресурсы VQA часто полагаются на синтетические шаблоны, не имеют естественного описательного надзора или содержат скудные аннотации, которые препятствуют рассуждению о пространственных отношениях и процедурном контексте. Мы представляем MIS-VQA, хирургический набор данных на языке зрения, генерируемый с помощью аннотирующего трубопровода, который преобразует разнородные хирургические аннотации в структурированные текстовые изображения сцен. Используя EndoVis18 и ChholecT50, мы преобразуем фазу, инструмент, взаимодействие, тройник и сегментации в унифицированные контексты, которые определяют крупные языковые модели для создания клинически согласованных пар вопросов-ответов. MIS-VQA поддерживает четыре типа ответов, а именно: определение и подробное описание, заземление уровня восприятия и m