Перевод статьи, опубликованной на сайте Университета Джонса Хопкинса 11.12.2024.
Успешно используя имитационное обучение для обучения хирургических роботов, роботизированная хирургия приближается к реальной автономии, когда роботы могут выполнять сложные операции без помощи человека.
Выводы, сделанные исследователями из Университета Джонса Хопкинса были представлены на Конференции по обучению роботов в Мюнхене, главном событии в области робототехники и машинного обучения.
«Это действительно волшебно, когда у нас есть эта модель, и все, что мы делаем, это подаем ей данные с камеры, и она может предсказывать движения робота, необходимые для операции. Мы считаем, что это знаменует собой значительный шаг вперед к новому рубежу в медицинской робототехнике», — сказал в своем заявлении Аксель Кригер, доцент кафедры машиностроения Университета Джона Хопкинса, главный автор исследования.
Команда исследователей из Стэнфордского университета использовали имитационное обучение, чтобы обучить робота хирургической системы da Vinci трем основным хирургическим задачам: работе с иглой, подтяжке тканей и наложении швов. Робот, следуя командам модели, выполнял каждую задачу с навыками, сравнимыми с навыками человека-хирурга.
Эта модель объединила имитационное обучение с той же архитектурой машинного обучения, на которой работает ChatGPT. Тем не менее, эта модель говорит как «робот» с помощью кинематики — языка, который преобразует углы движения робота в математические выражения, в то время как ChatGPT использует слова и текст.
Исследователи включили в модель сотни видео, снятых наручными камерами, установленными на руках роботов da Vinci во время хирургических операций. Эти видео, записанные хирургами по всему миру, используются для послеоперационного анализа, затем архивируются. Почти 7000 роботов da Vinci используются по всему миру, и более 50 000 хирургов обучены работе с системой, создавая большой архив данных, который роботы могут использовать для имитации действий врачей.
Несмотря на широкое использование системы da Vinci, исследователи отмечают, что она известна своей неточностью. Но команда нашла способ сделать ее более эффективной, используя некорректные входные данные. Решающим значением стало обучение модели выполнять относительные движения вместо абсолютных действий, которые являются неточными.
«Все, что нам нужно, это ввод изображения, а затем эта система искусственного интеллекта находит нужные действия», – сказал ведущий автор Джи Вунг «Брайан» Ким, научный сотрудник Университета Джонса Хопкинса. «Мы обнаружили, что даже с помощью нескольких сотен демонстраций модель способна изучить процедуру и обобщить новые условия, с которыми она еще не сталкивалась».
Кригер добавил:«Модель настолько хорошо обучается тому, чему мы ее не учили. Например, если она уронит иглу, то автоматически поднимет ее и продолжит. Я не учил ее этому».
По словам исследователей, модель можно использовать для быстрого обучения робота выполнению любых хирургических операций. Сейчас команда использует имитационное обучение, чтобы научить робота выполнять не только небольшие хирургические операции, но и полноценные хирургические вмешательства.
Раньше программирование роботов даже для основных хирургических этапов требовало тщательного кодирования каждого действия. По словам Кригера, иногда на моделирование одного аспекта, такого как наложение швов для одного конкретного типа операции, уходили годы.
«Это очень ограничивает возможности, — сказал Кригер. — Что здесь нового, так это то, что нам нужно только собрать данные об имитационном обучении различным процедурам, и мы можем обучить робота за пару дней. Это позволяет нам ускорить достижение автономности, сокращая количество врачебных ошибок и повышая точность операций».
Среди авторов из Университета Джонса Хопкинса — аспирант Сэмюэл Шмидгалл, инженер-исследователь Антон Дегё и доцент кафедры машиностроения Марин Кобиларов. Среди авторов из Стэнфордского университета — аспирант Тони З. Чжао и доцент Челси Финн.
Опыт робот-ассистированной хирургии в России
Робот-ассистированная хирургия сегодня развивается огромными темпами и широко применяется в России, где постепенно накапливается свой видеоархив.
В крупнейшем на северо-западе Городском центре эндоскопической урологии и новых технологий Санкт-Петербурга, организованном на базе урологического отделения СПб ГБУЗ «Клиническая больница Св. Луки», в цифровых операционных MVS интегрирован робот da Vinci Xi.
С использованием робота проводятся операции:
- нефрэктомия, резекция почки (лечение рака почки);
- аденомэктомия, радикальная простатэктомия (лечение рака простаты).
Робот повторяет движение рук хирурга и позволяет работать с ювелирной точностью при максимально высокой визуализации. Изображение выводится на мониторы в формате 3D.
Благодаря интеграции роботической системы в цифровую операционную MVS ведется видеозапись со всех видеоисточников, в том числе с видеокамеры эндоскопа, наружных камер, что также может послужить обучающей базой для систем искусственного интеллекта.
Операции с использованием робота da Vinci проводят врачи, которые прошли специальное обучение и получили сертификат от компании-производителя робота. Всех сертифицированных хирургов больницы вносят в международную базу специалистов продвинутого уровня подготовки для операций на da Vinci.
Первую робот-ассистированную простатэктомию с использованием этой системы в СПб ГБУЗ «Клиническая больница Св. Луки» выполнили в октябре 2021 года. Операция прошла успешно, пациентку отпустили домой уже через несколько дней.
В 2024 г. здесь выполнили 400 хирургических вмешательств с применением роботизированного комплекса da Vinci Xi.
Внутри цифровой операционной робот da Vinci Xi является одним из видеоисточников. Изображение с видеокамеры робота-ассистента передается на дополнительные мониторы в операционной, позволяя следить за ходом операции всем присутствующим. Ведется синхронная видеозапись операций, в том числе с источника «робот da Vinci Xi». Не прерывая видеозапись внутри операционной, можно посмотреть предыдущие этапы операции, сделать разметку видео в процессе записи, осуществить проверку по чек-листам безопасности. В больнице ведется единый видеоархив операций, который хранится в одном месте на сервере.
