Быстрые нейронные сети для рентгеноскопии и регистрации объема

Обобщение усовершенствованных навигационных методов вмешательства с помощью изображений и хирургической робототехники требует быстрого и точного согласования трехмерных (3D) объемов предоперационной съемки (таких, как расчет томографии и магнитного резонанса) с двухмерными (2D) внутриоперативными изображениями (например, рентгеновская фторскопия)12. Вместе с тем существующие методы 2D/3D регистрации не позволяют охватить широкий спектр процедур, основанных на использовании фторскопии: оптимизаторы, основывающиеся на интенсивности, требуют корректировки в расчете на каждый отдельный гиперпараметр3,4, тогда как подходы к глубокому обучению требуют наличия обширных наборов данных с ручной маркировкой и по-прежнему ограничиваются конкретной анатомией, которой они были обучены5,6. Здесь, для устранения этих ограничений мы представляем Xvr — самоконтрольную систему, которая сочетает нейронные сети с градиентной оптимизацией для автоматической 2D/3D регистрации. xvr использует физико-моделирование для получения данных о подготовке от собственного предоперационного сканирования пациента, устраняя потребность в ручном аннотации. Мы представляем основную модель, предварительно подготовленную на тысячах сканированных тел, что позволяет адаптировать пациента к любому анатомическому региону только за 5 минут отладки. Насколько нам известно, самая большая оценка 2D/3D регистрации на реальных фторскопиях до настоящего времени, Xvr обеспечивает высокую точность в секундах по различным…