От маркировки присутствия до связующих коробок: Может ли мультимодальная модель большого языка хирургический инструмент локализация?

arXiv: 261 030.34218v 1 Annualce Type: New Humber: Staturical Localization of Instruments box-control-bock notities — это основополагающий компонент понимания хирургической сцены, поддержки обнаружения, отслеживания, анализа взаимодействия и прикладных программ на основе языка зрения. Тем не менее существующие аннотации часто охватывают выбранные кадра, подмножества видео или варианты набора данных вместо полных процедур. Размах вручную занимает много времени и зависит от экспертов. Кроме того, слабо контролируемые и основывающиеся на детекторах псевдомаркеты требуют специальной подготовки и могут быть неточными. В этом исследовании мы проектируем масштабируемую систему аннотаций на основе MLLM, которая преобразует хирургические рамки и существующие знаки присутствия приборов в точные маркеры с указанием границ, и систематически анализирует ее надежность, стоимость и чувствительность к дизайну. Мы привязываем рамки с использованием шести МЛЛМ и многозвонной конфигурации лапароскопической холецитэктомии в Коллек80. Используя тщательно разработанную схему стратификации,