Ошибки ChatGPT в медицине: статистика и риски для клиник

Искусственный интеллект все активнее проникает в повседневную работу врачей и привычки пациентов. Если раньше человека с симптомами болезни направлял путь к поисковику, то сегодня многие предпочитают задать вопрос нейросети. Пациенты приходят на прием к специалисту с готовыми распечатками, а врачи тестируют алгоритмы для составления медицинских отчетов.

Генерация текста чат-ботами выглядит убедительно благодаря структурированным абзацам, уверенному тону, ссылкам на несуществующие клинические исследования. Однако за этой уверенностью скрываются критические риски. Ошибки ChatGPT в медицине создают прямую угрозу безопасности пациентов.

Пациент, получивший неверный совет от виртуального помощника на основе больших языковых моделей (БЯМ/LLM), рискует своим здоровьем, но юридическую и репутационную ответственность будет нести клиника.

В этой статье мы подробно разберем:

• статистику ошибок чат GPT в медицине
• реальные кейсы из практики
• и специфические риски для российского здравоохранения.

Вы получите практические рекомендации о том, как защитить свой бизнес, выстроить внутренние регламенты и почему сертифицированная медицинская информационная система (МИС) остается единственным надежным инструментом для врача.

Почему врачи и пациенты все чаще обращаются к ChatGPT за медицинской помощью

По данным аналитической платформы Statista за 2024 год, более 40% пользователей нейросети используют ее для поиска медицинской информации. Российские клиники фиксируют, что пациенты приходят на очный прием с готовыми диагнозами от ИИ. Они уверены в правдивости ответов из-за отсутствия навязчивой рекламы и внешне логичной структуры текста.

Главная проблема кроется в природе технологии. Большие языковые модели обучаются на огромных массивах текста из интернета. Их задача — предсказать следующее слово в предложении, чтобы текст выглядел естественно. Чат-боты отлично справляются с имитацией человеческой речи, но они не являются медицинскими экспертными системами.

Врачи также начинают интегрировать эти инструменты в свою работу. Специалисты используют искусственный интеллект для написания служебных записок, перевода статей или подготовки черновиков истории болезни. Но без строгого человеческого контроля эта практика неизбежно ведет к размыванию стандартов и появлению неточностей в медицинской документации.

Если клиника использует программу для управления расписанием и ведения электронных карт, любые неконтролируемые внешние тексты, скопированные из чатов, нарушают единообразие и структуру базы данных пациентов.

Что говорят исследования о частоте и проценте ошибок в ChatGPT

Цифры, опубликованные в рецензируемых медицинских журналах, дают четкую картину того, насколько опасно слепо доверять алгоритмам. Ошибки нейросетей в медицинской диагностике вариативны и представляют собой как мелкие неточности, так и критические промахи, угрожающих жизни. Именно поэтому ошибки чат GPT в медицине должны быть в центре внимания каждого руководителя клиники.

• Исследование, опубликованное в журнале JAMA в 2023 году, показало, что ChatGPT поставил правильный основной диагноз только в 51,2% случаев при анализе сложных педиатрических кейсов. Почти в половине ситуаций модель либо предлагала неверный диагноз, либо полностью игнорировала опасное состояние ребенка. Педиатр, который опирался бы на такой результат без верификации информации, подвергал бы маленького пациента прямой опасности.
• Другое исследование из JAMA Internal Medicine (Ayers et al., 2023) продемонстрировало приемлемое качество ответов (78,6%), но только на базовые, общие вопросы о здоровье. Как только речь заходила о постановке реального диагноза или специфическом лечении, точность диагностики резко падала.
• В сфере онкологии ситуация не лучше. Журнал Annals of Oncology опубликовал данные, согласно которым в 35% случаев модель допускала ошибки в рекомендациях по лечению рака. В неотложной медицине этот показатель достигает пугающих 83%: в сложных экстренных случаях алгоритм не смог правильно приоритизировать угрозу для жизни пациента.

Сводная таблица статистики ошибок ИИ в медицине

Специфическая проблема генеративного ИИ — это так называемые галлюцинации. Модель может с абсолютной уверенностью ссылаться на несуществующие препараты, выдуманные клинические исследования и устаревшие протоколы. Кроме того, частота ошибок резко возрастает на локальном материале.

Типичные категории медицинских ошибок ИИ

Чтобы руководителям клиник и врачам понять масштаб угрозы, систематизируем риски. Процент ошибок алгоритма распределяется по нескольким критическим категориям, каждая из которых может привести к ущербу для здоровья пациента.

1. Ошибки дозирования лекарств. Языковые модели часто называют стандартные дозы препаратов, совершенно не учитывая возраст больного, его вес, состояние почечной функции и возможное взаимодействие с другими лекарствами. Для врача очевидно, что пожилому пациенту нужна корректировка дозы, но нейросеть об этом не догадывается.
2. Ложноотрицательные диагнозы. Алгоритм склонен успокаивать пользователя, списывая серьезные симптомы на банальную усталость или стресс. Если у пациента симптомы инфаркта миокарда или острого аппендицита, такая оценка рисков со стороны чат-бота отнимает драгоценное время.
3. Игнорирование противопоказаний. ИИ регулярно выдает рекомендации по приему лекарств, которые категорически противопоказаны при беременности, конкретных хронических заболеваниях или в детском возрасте.
4. Путаница в номенклатуре препаратов. В России используется как международное непатентованное наименование (МНН), так и торговые названия. Чат-боты регулярно их путают, предлагая пациенту лекарство, которое не продается в стране, или заменяя оригинальный препарат на некорректный дженерик.
5. Устаревшие протоколы. Медицина не стоит на месте. Рекомендации ИИ часто не соответствуют актуальным приказам Минздрава РФ и стандартам оказания помощи. Интерпретация результатов анализов на основе устаревших референсных значений может привести к неверным клиническим решениям.
6. Предвзятость данных. Модели обучены преимущественно на англоязычном контенте, что порождает систематическую предвзятость данных. Для российских пациентов с их генетическими особенностями, образом жизни и доступными препаратами точность рекомендаций еще ниже.
7. Психологический вред. Неверная интерпретация анализов вызывает у пациентов тяжелую тревогу или, наоборот, создает ложную уверенность в здоровье, заставляя откладывать визит к лечащему врачу.

Почему зарубежная статистика не отражает всей картины российского контекста

Для российского здравоохранения проблема имеет дополнительное измерение. Модель обучена преимущественно на англоязычных медицинских данных. Российские протоколы лечения, отечественные стандарты и специфика работы представлены в обучающей выборке фрагментарно и порождают серьезную предвзятость данных, которая напрямую снижает качество ответов для российских пациентов.

Отдельная проблема — фармакологический рынок. После 2022 года с продажи в России было снято множество зарубежных препаратов, но появились качественные отечественные аналоги. Языковая модель ничего не знает об этих изменениях, равно как и о требованиях ЕГИСЗ (Единой государственной информационной системы в здравоохранении) к оформлению медицинской документации.

Пациент, пришедший с «диагнозом от ИИ», создает колоссальную нагрузку на лечащего врача. Специалисту приходится тратить время на то, чтобы переубедить человека, опровергнуть выдуманный диагноз и вернуть диалог в профессиональное русло.

В российских клиниках, работающих с МИС, таких как Medesk, актуальной задачей становится интеграция чат-ботов с системами ведения электронной медицинской карты (ЭМК) исключительно в административных целях. Это позволяет использовать возможности автоматизации, не допуская нейросеть к клиническим решениям.

Правильно выстроенная защита персональных медицинских данных при этом остается критически важным условием, так как конфиденциальность данных пациентов не может быть скомпрометирована при взаимодействии с внешними языковыми моделями.

Реальные случаи, когда доверие к ИИ привело к ошибкам в лечении

Статистика становится осязаемой, когда за цифрами стоят конкретные люди. Медицинские чат-боты уже привели к ряду инцидентов, которые должны стать предупреждением для руководителей клиник.

• В США в 2023 году был зафиксирован случай, когда пациент с развивающимся инфарктом отложил вызов скорой помощи. Он ввел свои симптомы в чат, и алгоритм предположил «паническую атаку» и посоветовал успокоиться. В результате человек попал в реанимацию с обширным поражением миокарда, когда время для минимального вмешательства было упущено.
• В Великобритании нейросеть порекомендовала дозу антикоагулянта, которая вдвое превышала безопасную норму для пожилого пациента с проблемами почек. Человек начал принимать лекарство, опираясь на уверенный тон машины, что привело к внутреннему кровотечению.
• В российских реалиях врачи частной практики все чаще сталкиваются с тем, что пациенты самостоятельно отменяют назначения специалиста. Больной вводит свой диагноз в чат, читает альтернативное мнение и перестает принимать антибиотики или гормональные препараты. Анамнез пациента при этом остается неполным, а история болезни — разрозненной.

Для медицинской организации нейросети создают сложную юридическую и этическую дилемму:

Как задокументировать случай, если пациент следовал советам алгоритма в ущерб назначениям врача?

Именно поэтому фиксация расхождений между самодиагностикой больного и реальной клинической картиной должна быть жестко регламентирована. Платформа Medesk помогает структурировать такие записи в ЭМК, обеспечивая врачу юридическую защиту и сохраняя историю болезни в целостном виде.

Справедливо отметить, что иногда алгоритм дает корректные базовые советы, но именно эта непредсказуемость и делает его применение в медицине без контроля специалиста неприемлемым.

Что говорят Минздрав, FDA и ВОЗ об ИИ в медицинской диагностике

Ни один здравоохранительный регулятор в мире не одобрил использование ChatGPT в качестве диагностического инструмента. Позиция властных структур однозначна: это угроза здоровью нации.

• Минздрав РФ прямо заявляет, что любые ИИ-системы в медицине подлежат обязательной регистрации как медицинские изделия. Нейросеть OpenAI такой регистрации не имеет. Росздравнадзор контролирует оборот медицинских изделий, и использование несертифицированных алгоритмов для постановки диагноза является нарушением закона.

• В США Управление по санитарному надзору за качеством пищевых продуктов и медикаментов (FDA) классифицирует медицинские устройства по уровню риска. ChatGPT не сертифицирован как устройство класса II или III, которые допускаются для помощи в принятии клинических решений.
• Всемирная организация здравоохранения (ВОЗ) в 2023 году выпустила специальный бюллетень, призывающий к осторожности и строгому регуляторному надзору за применением генеративного искусственного интеллекта в здравоохранении.

Если лечащий врач использует несертифицированную нейросеть для подтверждения диагноза, и пациенту наносится вред, медицинский центр понесет полную ответственность. Разграничение здесь четкое: специализированные, сертифицированные модули поддержки клинических решений (DSS), встроенные в МИС, — это одна категория, безопасная и легальная. Общедоступные чаты — это нарушение стандартов оказания медицинской помощи.

Как частным клиникам выстроить политику использования ИИ

Практика показывает, что запретить использование нейросетей невозможно, потому что сотрудники и пациенты все равно будут к ним обращаться. Вместо запретов руководству клиники необходимо выстроить систему управления рисками. Руководитель, который грамотно выстраивает организационную структуру клиники, обязан внедрить правила работы с новыми технологиями.

1. Разработайте внутренний регламент. Пропишите, какие инструменты допустимы в работе, а какие категорически запрещены. Использование алгоритмов для транскрибации приема, перевода статей или составление отчетов допустимо, но интерпретация результатов и назначение терапии должны быть строго под запретом.
2. Внедрите принцип «человека в контуре». Любое клиническое решение, где алгоритм участвует в роли подсказчика, должно проходить верификацию информации у врача. Человеческий контроль — обязательный элемент процесса.
3. Обучите врачей коммуникации. Персонал должен уметь профессионально и без конфликта реагировать на пациентов с распечатками от чат-ботов. Врач должен объяснить разницу между усредненной вероятностью из интернета и реальной клинической картиной конкретного человека.
4. Строго документируйте расхождения. Внедрите практику фиксации в карте пациента случаев, когда самодиагностика на основе ИИ расходилась с реальным диагнозом. Медицинская документация должна быть непрерывной и защищенной.
5. Используйте сертифицированные системы. Замените неконтролируемые чаты на профессиональное программное обеспечение. Medesk предоставляет модуль электронных назначений с автоматической проверкой взаимодействия препаратов, что исключает человеческий фактор и влияние внешних «советов».

Внедрение МИС для автоматизации клиники стандартизирует работу врачей и обеспечивает поддержку клинических решений в рамках единой платформы.

6. Информируйте пациентов. Разместите понятные памятки на сайте и в холле клиники о том, что медицинские чат-боты не являются источником достоверной информации и могут содержать ошибки, опасные для жизни.

В каких сферах медицины искусственный интеллект действительно помогает?

Несмотря на высокие риски, было бы неверно полностью отвергать технологии. Искусственный интеллект в медицине демонстрирует выдающиеся результаты, когда применяется по назначению и под строгим контролем человека.

Административные задачи — та сфера, где применение алгоритмов наиболее безопасно и эффективно. Автоматизация рутинных процессов существенно экономит время врачей:

• транскрибация приема
• заполнение стандартных форм
• отправка напоминаний пациентам
• обработка звонков.

Анализ медицинских изображений — еще одна успешная область. Специализированные, сертифицированные системы (не языковые модели) показывают точность диагностики выше 90% в рентгенологии, компьютерной томографии и маммографии.

Они обучены на миллионах маркированных снимков и не генерируют текст, а лишь подсвечивают подозрительные области для врача.

Системы поддержки принятия решений (DSS) в составе МИС служат отличным «вторым мнением». Если у врача есть сомнения, система анализирует медицинские данные пациента и предлагает список вероятных диагнозов для дифференциальной диагностики, опираясь на актуальные российские протоколы.

Обработка больших данных помогает в управлении потоком пациентов, прогнозировании загрузки отделений и аналитике для медицинских директоров. Медицинские данные, собранные в структурированном виде внутри платформы Medesk, позволяют точно анализировать загруженность специалистов и корректировать расписание.

Ключевой принцип цифровой трансформации в здравоохранении звучит так:

ИИ усиливает врача, но не способен заменить ни очный клинический осмотр, ни годы медицинского образования, ни персональную ответственность специалиста за жизнь больного.

Замена врача алгоритмом сегодня — это угроза безопасности пациентов. Верификация информации, сгенерированной машиной, должна оставаться прерогативой человека в белом халате.

Как проверять медицинскую информацию от ИИ

Поскольку пациенты все равно будут приходить с распечатками, а часть административных задач будет делегироваться алгоритмам, врачу необходима точная процедура верификации информации. Вот практический алгоритм:

Следование этому алгоритму минимизирует последствия ошибок чат GPT в медицине, статистика которых продолжает расти по мере распространения инструментов ИИ среди населения.

Часто задаваемые вопросы

1. Можно ли верить ИИ в медицине?

Нет, слепо доверять общедоступным нейросетям, таким как ChatGPT, нельзя. Это языковые модели, созданные для генерации текста, а не медицинские экспертные системы. Они склонны к галлюцинациям, не умеют объективно оценивать риски и часто выдают выдуманную информацию за факты. Любые сведения должны проходить верификацию у лечащего врача.

2. На сколько процентов ошибается ChatGPT в медицине?

Частота ошибок сильно зависит от задачи. В сложных педиатрических случаях процент ошибок достигает почти 49%. В рекомендациях по лечению онкологии — около 35%. В сложных случаях неотложной медицины алгоритм ошибается в 83% ситуаций, не понимая степени угрозы для жизни пациента.

3. Была ли у ChatGPT высокая частота ошибок в педиатрических случаях?

Да. Исследование, опубликованное в авторитетном журнале JAMA в 2023 году, подтвердило, что модель поставила правильный основной диагноз только в 51,2% сложных педиатрических случаев. Это делает её применение в педиатрии крайне опасным без контроля врача.

4. Как минимизировать риски галлюцинаций нейросети в клинике?

Необходимо внедрить внутренний регламент, разрешающий использование алгоритмов только для административных задач. Все клинические решения, включая расчет дозировок и интерпретацию анализов, должны приниматься исключительно врачом и фиксироваться в структурированной электронной медицинской карте сертифицированной МИС.

5. Кто несет юридическую ответственность за ошибку ИИ в клинике?

Ответственность несет медицинское учреждение и непосредственно лечащий врач. Использование несертифицированных алгоритмов Минздравом не одобрено. Согласно ФЗ-323, если врач применяет чат-бот для постановки диагноза и пациенту наносится вред, клиника будет нести полную юридическую и финансовую ответственность.