Поисково-дополненная генерация для создания цифрового двойника хирурга

Авторы
Михаил Капутин
Михаил Капутин
Д.м.н., консультант по Surgical Data Science, директор по медицине ООО «Медицинские системы визуализации»

Однако LLM общего назначения такие, как ChatGPT от OpenAI, обучаются на общедоступных данных и не оптимизированы для клинического использования (5). Это означает, что ответы общедоступных LLM на клинические вопросы, могут включать неверную, неполную или галлюцинаторную информацию (6, 7).

В настоящее время существуют три основных подхода, позволяющих «специализировать» LLM:

  1. Точная настройка исходной модели LLM, которая требует больших вычислительных затрат.
  2. Подсказки в LLM. При этом обрабатываются только небольшие объемы данных и необходим итеративный ввод данных пользователем.
  3. Поисково-дополненная генерация (Retrieval Augmented Generation, RAG), которая расширяет возможности LLM путем добавления системы поиска информации, предоставляющей внешние данные, которые затем дополняют и ограничивают результаты LLM.

RAG — это метод работы с большими языковыми моделями, когда пользователь пишет свой вопрос, а вы программно к этому вопросу «подмешиваете» дополнительную информацию из каких-то внешних источников и подаете все целиком на вход языковой модели. Другими словами, вы добавляете в контекст запроса к языковой модели дополнительную информацию, на основе которой языковая модель может дать пользователю более полный и точный ответ (8).

Одной из перспективных областей применения LLM является продвижение доказательной медицины через создание систем поддержки принятия врачебных решений, основанных на клинических рекомендациях, которые являются обобщением мнений экспертов и данных клинических исследований, и используются для улучшения результатов лечения пациентов через лучшие практики.

На сегодняшний день опубликован ряд исследований, посвященных использованию RAG и клинических рекомендаций для повышения точности ответов на медицинские вопросы. Одно из них посвящено нефрологии, где в основу были положены рекомендации по лечению хронических заболеваний почек (9). Два исследования касались патологии печени (10, 11). Еще в одном – LLM была дополнена возможностями поиска медицинских руководств и рекомендаций по лечению на тщательно подобранных медицинских интернет-ресурсах (12). Данные исследования продемонстрировали высокую точность ответов на вопросы, что говорит о возможности использования RAG с целью настройки LLM для клинического использования.

С клинических рекомендаций логично начинается, но отнюдь не заканчивается формирование медицинских баз знаний. В рамках использования RAG базы знаний могут пополняться пользователями в соответствии с их задачами. Это ведет к созданию обширной базы знаний по специальности, которая может быть положена в основу точной настройки исходной LLM с созданием цифрового двойника специалиста. Подобные примеры уже имеются в других отраслях.

Например, цифровой двойник агронома — это инновационный инструмент для эффективного сбора, анализа и моделирования сельскохозяйственных данных. Он предоставляет ответы на широкий спектр вопросов в сфере сельского хозяйства: рекомендации по питанию и выращиванию растительных культур, способы внедрения и точную дозировку минеральных удобрений и обработки посевов, распознает болезни растений по их изображению и т. д. (13).

Цифровой двойник хирурга может стать незаменимым компонентом цифровой операционной, обеспечивая информационную поддержку врача в процессе выполнения хирургического вмешательства. В перспективе этот инструмент может не только дополнить консультацию более опытного коллеги или хирурга другой специальности, но и проактивно давать врачу подсказки и рекомендации, основанные на обобщенном мировом опыте.

Прототип подобного инструмента был продемонстрирован компанией Theator на LSI USA ’23 (14) (рис. 1). Для помощи хирургу в принятии интраоперационного решения на монитор в режиме реального времени выводились прогнозируемые последствия того или иного решения для непосредственных и отделенных результатов лечения пациента.

Демонстрация прототипа цифрового двойника хирурга в цифровой операционной Theator
Рис. 1. Демонстрация прототипа цифрового двойника хирурга в цифровой операционной Theator

Предоставляя интерактивную мультимодальную поддержку в реальном времени, цифровой двойник ускоряет обучение и адаптацию молодых специалистов. Его применение особенно актуально в критических и нестандартных ситуациях, когда цифровой двойник помогает принимать наиболее взвешенные решения, основанные на анализе схожих случаев из глобальной медицинской практики.

В качестве возможных сценариев практического использования можно предложить:

  1. Вывод на интраоперационный монитор лаконичного ответа на вопрос хирурга, сгенерированного LLM в результате анализа публикаций на специализированном медицинском интернет-ресурсе, и сверку его с клиническими рекомендациями.
  2. Демонстрацию интересующего хирурга фрагмента видеозаписи операции в экспертном исполнении из структурированной библиотеки хирургического видео или фрагмента видеозаписи операции, ранее выполненной больному.
  3. Показ дозировки лекарства, рассчитанной с использованием общедоступных медицинских калькуляторов, и инструкции по применению препарата из справочника лекарственных средств.

В заключение хочется сделать акцент на том, что создание цифровых двойников по различным хирургическим специальностям позволит использовать их в процессе обучения хирургов, для планирования операций и принятия интраоперационных решений, основанных на актуальных данных доказательной медицины.

Литература:

  1. Ge J, Li M, Delk MB, Lai JC. A comparison of large language model versus manual chart review for extraction of data elements from the electronic health record. medRxiv. September 1, 2023.
  2. Rahman M, Terano HJR, Rahman N, Salamzadeh A, Rahaman S. Chatgpt and academic research: A review and recommendations based on practical examples. J Educ, Mngt, and Dev Studies. 2023;3(1):1–12.
  3. Nayak A, Alkaitis MS, Nayak K, Nikolov M, Weinfurt KP, Schulman K. Comparison of history of present illness summaries generated by a chatbot and senior internal medicine JAMA Intern Med. 2023;183(9):1026–1027.
  4. Han C, Kim DW, Kim S, et al. Evaluation Of GPT-4 for 10-Year Cardiovascular Risk Prediction: Insights from the UK Biobank and KoGES 2023.
  5. ChatGPT: Optimizing Language Models for Accessed December 17, 2022.
  6. Ge J, Lai JC. Artificial intelligence-based text generators in hepatology: ChatGPT is just the Hepatol Commun. 2023;7(4).
  7. Ji Z, Lee N, Frieske R, et al. Survey of hallucination in natural language generation. ACM Comput Surv. November 17,
  8. https://habr.com/ru/articles/779526/
  9. Miao J, et al. Integrating Retrieval-Augmented Generation with Large Language Models in Nephrology: Advancing Practical Applications. Medicina (Kaunas). 2024 Mar 8;60(3):445.
  10. Ge J, et al. Development of a Liver Disease-Specific Large Language Model Chat Interface using Retrieval Augmented Generation. medRxiv [Preprint]. 2023 Nov 10:2023.11.10.23298364.
  11. Kresevic S, et al. Optimization of hepatological clinical guidelines interpretation by large language models: a retrieval augmented generation-based framework. NPJ Digit Med. 2024 Apr 23;7(1):102.
  12. Zakka C, et al. Almanac – Retrieval-Augmented Language Models for Clinical Medicine. NEJM 2024 Feb;1(2):10.1056/aioa2300068.
  13. https://uralchem.ru/press/news/item32141/
  14. https://youtu.be/6GxZWiVLPeM?t=8m50s

О запуске функции тестирования мы сообщим позже.

Оставьте вашу почту и вы узнаете о старте тестирования первым!