Когда ИИ сможет полностью заменить врача в клинике?

Авторы статьи “The Evaluation Illusion of Large Language Models in Medicine”, опубликованной в npj Digital Medicine в 2025 году, подробно объясняют, почему заявления о том, что генеративные ИИ уже «побеждают всех» на медицинских экзаменах, создают иллюзию прогресса. Эти достижения не отражают реальную клиническую пользу и не означают, что такие модели готовы заменить врачей.

Сегодня ИИ чаще всего оценивают в искусственных условиях — на тестах, клинических виньетках и экзаменах. По данным обзора, лишь около 5% исследований используют настоящие электронные истории болезней. Остальные — «чистые» и структурированные наборы данных, лишённые свойственных реальной практике фрагментации, жаргона, сканов и ошибок. В живой клинической среде такие условия отсутствуют, а различия между пациентами и учреждениями огромны. Поэтому модель, успешно решающая тесты, теряет эффективность при работе с реальными данными.

Вторая иллюзия связана с характером самих задач. Большинство испытаний построено на множественном выборе ответов, где вся необходимая информация уже дана. Но в реальной медицине врач постоянно уточняет неполные данные и формулирует гипотезы. Когда модели сталкиваются с неполнотой информации, их точность резко падает. Таким образом, успехи на экзаменах не отражают клиническое мышление.

Третья иллюзия — автоматические метрики. Часто сообщаемые «высокие результаты» основаны на показателях вроде BLEU, ROUGE или BERTScore, заимствованных из машинного перевода. Однако их корреляция с экспертной оценкой врачей крайне низка, иногда даже отрицательна. То есть модель может получить высокий балл по метрике, но при этом допустить смысловые ошибки, опасные для пациента.

Наконец, даже в случаях реального внедрения — например, при помощи в ответах пациентам через электронные карты — улучшение касается не скорости, а субъективного снижения умственной нагрузки. Это показывает разрыв между технологическими показателями и реальной клинической эффективностью.

Авторы подчёркивают: будущие оценки должны проводиться в реальных условиях с участием врачей, описанием контекста и ограничений, а не сводиться к синтетическим тестам. Только такие исследования позволят понять, действительно ли ИИ повышает точность, скорость и безопасность решений.

Пока этого нет, заявления о том, что ChatGPT или другие модели “уже лучше врачей”, — это пример иллюзии оценки, когда видимость успеха создают тесты и формальные метрики, не имеющие отношения к клинической реальности.

https://www.nature.com/articles/s41746-025-01963-x