Цифровая операционная и Surgical Data Science

Авторы
Михаил Капутин
Михаил Капутин
Д.м.н., консультант по Surgical Data Science, медицинский директор ООО «Медицинские системы визуализации»

М.Ю. Капутин, д.м.н., консультант по Surgical Data Science, медицинский директор ООО «Медицинские системы визуализации» (MVS).

Эволюция хирургии

В результате в 2017 году оформилась новая область знаний – Surgical Data Science или наука о хирургических данных, которая, согласно определению, «направлена на повышение качества хирургической помощи за счет сбора, организации, анализа и моделирования данных» (1).

В процессе развития данного направления у хирурга должен появиться «экзоинтеллект», который, по аналогии с экзоскелетом, призван усилить интеллектуальные способности хирурга, подобно тому, как современные роботизированные системы улучшают его мануальные способности.

Хирургу будущего предстоит работать в цифровой или «умной» операционной, под которой мы понимаем:

  • систему сбора, хранения и обработки данных с цифровых источников в операционной,
  • осуществляющую обмен данными между операционной и медицинской информационной системой учреждения,
  • служащую платформой для развертывания систем автоматизации и поддержки принятия врачебных решений в операционной.

Поскольку главным источником цифрового контента в операционной является хирургическое видео, то необходимо перечислить основные цели его анализа с использованием искусственного интеллекта (ИИ) актуальные на сегодняшний день. Это:

  1. Создание структурированных видеоархивов.
  2. Определение анатомических ориентиров и критериев безопасности.
  3. Анализ сложности и прогнозирование продолжительности операций.
  4. Выявление интраоперационных ошибок и осложнений.
  5. Обучение хирургов и оценка хирургических навыков.

Реализация этих целей невозможна или крайне затруднена без систематической записи и хранения хирургического видео, вопрос о необходимости которых все чаще поднимается в хирургическом сообществе.

Примечательно, что у России был шанс в 2018 году стать первой страной в мире, узаконившей обязательную запись хирургических операций. Однако на тот момент данный законопроект был отклонен депутатами Госдумы.

В результате первой страной, которая в 2021 году приняла закон об обязательной видеозаписи в операционной, стала Южная Корея. В том же году прошла Первая глобальная конференции по этическим, правовым и социальным последствиям обязательной видеозаписи в операционной.

В 2023 году были опубликованы Консенусные рекомендации Общества американских желудочно-кишечных и эндоскопических хирургов (SAGES) по использованию, структуре и исследованию хирургических видеоданных (для исследований в области искусственного интеллекта, улучшения качества лечения и хирургического образования) (2).

На вопрос экспертам «Должны ли записываться все хирургические процедуры?» 81,3% ответили, что полностью согласны или согласны. Это позволяет надеяться, что опыт Южной Кореи в скором времени распространится на США и другие страны.

Говоря о хирургическом видео, мы прежде всего имеем в виду видеозапись операционного поля. Данное видео может анализироваться ИИ как по временной, так и по пространственной шкале.

 

Анализ хирургического видео
Анализ хирургического видео

В первом случае выделяются фазы, шаги или события хирургического вмешательства. В последнем – решаются задачи классификации, отвечающие на вопрос, какие объекты присутствуют на видео, или сегментации, отвечающие на вопрос, где они расположены.

Переходя к первой цели анализа хирургического видео, созданию структурированных архивов, необходимо отметить, что это задача ретроспективного анализа. И по данной причине не влияет на тактику лечения пациента, что упрощает внедрение ее в клиническую практику.

Лапароскопическая холецистэктомия при осложненных формах острого холецистита
Создание структурированных архивов

Под структурированным архивом мы понимает автоматическое выделение общепринятых фаз оперативных вмешательств, а также нежелательных событий и критериев безопасности. Помимо этого, можно выделять периоды автоматического определения анатомических образований и инструментария, а также отсутствия активности хирурга.

На основе вышеперечисленных данных может строиться аналитика, позволяющая корректировать тактику хирургического лечения, сравнивать различные стратегии, выявлять и тиражировать лучшие практики.

По мере улучшения точности и производительности вышеперечисленного функционала он может быть использован в процессе хирургического вмешательства, подсвечивая хирургу в режиме дополненной реальности опасные и безопасные зоны, анатомические образования или отслеживая положение инструментария.

В режиме смешанной реальности на «живое» хирургическое видео могут накладываться предварительно сегментированные анатомические структуры, полученные при КТ или МРТ. При этом важно добиться их точной и динамической привязки к подвижному органу, в частности, при эндоскопических вмешательствах (3).

Лапароскопическая хирургия под контролем дополненной реальности
Лапароскопическая хирургия под контролем дополненной реальности

Также на хирургическое видео в процессе операции могут быть наложены данные биофотонных методов исследования, обработанные ИИ, таких как визуализация времени жизни флуоресценции (FLIM) и гиперспектральная визуализация (HSI). Первый метод способен разграничить здоровую и опухолевую ткань, последний, помимо этого, может оценивать достаточность кровоснабжения тканей (4, 5).

Очень важной задачей для снижения частоты тяжелых интраоперационных осложнений является исполнение критериев безопасности вмешательства. Данные критерии широко известны в применении к лапароскопической холецистэктомии (ЛХЭ), однако существуют или могут быть разработаны для большинства операций.

На сегодняшний день несколькими компаниями и научными коллективами создаются приложения на основе компьютерного зрения для автоматического отслеживания исполнения критериев безопасности. В режиме реального времени на видео операционного поля накладываются маркеры выполнения или невыполнения критериев безопасности, что решает проблему субъективности оценки (6).

Проблема неправильной интерпретации исполнения критериев безопасности ЛХЭ была ярко проиллюстрирована в исследовании, проведенном компанией Theator (Израиль). При оценке ИИ видеозаписей более тысячи вмешательств критерии безопасности были полностью выполнены лишь в 9% случаев. При этом эксперты согласились с 99% аннотаций интраоперационных событий ИИ (7).

В тоже время, согласно недавнему анкетированию хирургов РОЭХ, частота исполнения ими критериев безопасности ЛХЭ превышает 80%, что явно противоречит результатам вышеприведенного исследования, а также других исследований, где анализировалось хирургическое видео на предмет выполнения критериев безопасности.

В настоящий момент компанией MVS инициировано исследование, целью которого является определение истинной частоты исполнения критериев безопасности ЛХЭ в крупных стационарах СПб. Другой его целью является создание датасета из 1000 вмешательств для обучения нейросети автоматическому определению фаз и критериев безопасности ЛХЭ.

На сегодняшний день в продукте компании MVS реализован удобный функционал планирования и мониторинга операций с целью повышения эффективности работы операционного блока. Логичным продолжением этого функционала было бы прогнозирование ИИ продолжительности операций по мере их выполнения.

Прогнозирование продолжительности операции

Компания Theator исследовала этот вопрос на крупномасштабном наборе данных, включающем порядка 4000 хирургических видео. Из 3 протестированных нейросетей сеть на основе технологии трансформер показала наилучшие и достаточно обнадеживающие результаты (8).

Другая, не менее важная задача – это разработка системы оценки навыков хирургии на основе ИИ. Японское общество эндоскопических хирургов первоначально разработало протокол оценки навыков по хирургическому видео. На следующем этапе было обучено несколько нейросетей под различные задачи. В настоящее время проводится обучение ИИ на датасете из 1650 видео, оцененных экспертами в процессе аттестации хирургов.

В заключение этого краткого обзора необходимо подчеркнуть, что для разработки вышеперечисленных и других решений на основе ИИ для хирургии необходима инфраструктура для сбора и хранения данных в виде интегрированных операционных.

Помимо этого, должны быть разработаны и приняты стандарты видеофиксации в операционной, описывающие архитектуру данных и связанные метаданные, а также включающие требования по целостности и мультимодальности видеоданных.

Только при этих условиях можно рассчитывать на ощутимый вклад ИИ в повышение эффективности и безопасности хирургической помощи в ближайшем будущем.

Литература

  1. Maier-Hein, L., Vedula, S.S., Speidel, S. et al. Surgical data science for next-generation interventions. Nat Biomed Eng 1, 691–696 (2017)
  2. Eckhoff JA et al. SAGES consensus recommendations on surgical video data use, structure, and exploration (for research in artificial intelligence, clinical quality improvement, and surgical education). Surg Endosc. 2023 Nov; 37(11): 8690-8707
  3. T. Collins et al., “Augmented Reality Guided Laparoscopic Surgery of the Uterus,” in IEEE Transactions on Medical Imaging, vol. 40, no. 1, pp. 371-380, Jan. 2021
  4. Hassan, M.A. et al. (2023). FLIm-Based in Vivo Classification of Residual Cancer in the Surgical Cavity During Transoral Robotic Surgery. In: Greenspan, H., et al. Medical Image Computing and Computer Assisted Intervention – MICCAI 2023. MICCAI 2023. Lecture Notes in Computer Science, vol 14228. Springer, Cham.
  5. Barberio M, Benedicenti S, Pizzicannella M, Felli E, Collins T, Jansen-Winkeln B, Marescaux J, Viola MG, Diana M. Intraoperative Guidance Using Hyperspectral Imaging: A Review for Surgeons. Diagnostics (Basel). 2021 Nov 8; 11(11):2066.
  6. Mascagni et al. A Computer Vision Platform to Automatically Locate Critical Events in Surgical Videos: Documenting Safety in Laparoscopic Cholecystectomy. Annals of Surgery 274(1): p e93-e95, July 2021.
  7. Korndorffer JR Jr, Hawn MT, Spain DA, Knowlton LM, Azagury DE, Nassar AK, Lau JN, Arnow KD, Trickey AW, Pugh CM. Situating Artificial Intelligence in Surgery: A Focus on Disease Severity. Ann Surg. 2020 Sep 1; 272(3): 523-528.
  8. Ariel, B. Et al. Estimated Time to Surgical Procedure Completion: An Exploration of Video Analysis Methods. In: Greenspan, H., et al. Medical Image Computing and Computer Assisted Intervention – MICCAI 2023.