Проверка симптомов: где точны, а где нет

22-летняя студентка просыпается с болью в животе, которая началась около пупка, а теперь ощущается скорее справа. Прежде чем решить, идти ли в приёмное отделение, она открывает приложение на телефоне, отвечает на ряд вопросов и получает список возможных причин и совет по срочности. Приложение предлагает обратиться за помощью в тот же день. Она колеблется, потому что после обезболивающего боль немного стихла. Сцена вымышленная и написана для обучения.

Этот текст посвящён проверщикам симптомов — цифровым инструментам, которые помогают непрофессионалам оценить срочность и возможные причины собственных жалоб. Задача — посмотреть, что показывают исследования о точности диагноза и сортировки, об использовании реальными пациентами и об ограничениях самих исследований. Если вы играете в случай дня в NEXO, вы узнаете эту задачу: подсказки приходят постепенно, и порядок гипотез меняется по мере их поступления.

Главные пункты

• В 2015 году 23 проверщика поставили правильный диагноз на первое место примерно в трети оценок.
• Пять лет спустя средняя сортировка приложений не улучшилась, и они стали менее осторожными.
• Точность сортировки обычно выше точности диагноза.
• В 2020 году приложения уступили непрофессионалам хотя бы в одном из двух проверенных решений по сортировке.
• Пациенты приёмного отделения смогли воспользоваться проверщиком и сочли инструмент полезным.
• Исследования с виньетками могут завышать результаты, потому что приложения склонны решать более лёгкие случаи.

Что такое проверщик симптомов

Проверщики симптомов — это цифровые инструменты, которые помогают непрофессионалам оценить, нужно ли и куда обращаться за помощью и по каким диагнозам, исходя из симптомов и истории, которые сообщает сам пользователь (Schmieding и соавторы, 2022). Многие используют формат беседы, как чат-бот, и заявляют о быстром диагнозе и последовательной сортировке (Morse и соавторы, 2020).

Обзор по этике описывает две основные функции. Первая сообщает состояния, которые могли бы объяснить симптомы. Вторая, сортировка, говорит, нужно ли обращаться за помощью, куда, например к семейному врачу или в приёмное отделение, и с какой срочностью, например в течение нескольких дней (Müller и соавторы, 2022). Те же авторы напоминают, что мобильные приложения могут использовать возможности устройства, такие как геолокация и камера, и даже подключаться к носимым устройствам.

Почему эта тема важна для рассуждения

Проверщик автоматически делает то, что клиницист делает в первой беседе: собирает жалобы, спрашивает о недостающем и предлагает список гипотез с решением о срочности. Изучение того, где он ошибается, помогает увидеть, где может ошибиться само рассуждение. Текст о признаках, симптомах и истории показывает, как слушать рассказ, не теряя важного.

Кто пользуется

В крупной системе здравоохранения США было проведено 26 646 оценок с помощью проверщика в формате чат-бота, большинство — женщинами, средний возраст 34,3 года (Morse и соавторы, 2020). Почти половина оценок, 12 357, пришлась на время вне рабочих часов поликлиник. Авторы заключили, что пользователи хорошо представляли обслуживаемое население, хотя были моложе и чаще женщинами, а рекомендации по сортировке были сопоставимы с рекомендациями телефонных линий сортировки с медсёстрами.

В той же службе совет по сортировке принимал форму одной из восьми возможных подсказок, сгруппированных по уровням низкой, средней и высокой срочности (Morse и соавторы, 2020). Авторы напоминают, что от таких приложений ожидают сокращения ненужных визитов в поликлиники и приёмные отделения, и ссылаются на более раннее исследование, в котором оценка через интернет снизила срочность помощи, которую пациенты собирались искать (Morse и соавторы, 2020). Они также отмечают, что о совокупных рекомендациях проверщика, которым пользуется большая популяция, пока известно мало.

Время использования привлекает внимание. Когда почти половина оценок приходится на время вне часов работы кабинетов (Morse и соавторы, 2020), приложение занимает именно то пространство, где пациенту было бы меньше всего с кем поговорить. Именно в этот момент неверный совет о срочности, в сторону ли преувеличения или преуменьшения, весит больше.

Эталонное исследование 2015 года

Работа, ставшая эталоном, проверила 23 проверяющих симптомы на 45 клинических виньетках, введённых в приложение так, как будто это пациенты (Semigran и соавторы, 2015). Правильный диагноз оказывался на первом месте в 34 из 100 оценок и среди первых 20 предложений в 58 из 100 (Semigran и соавторы, 2015).

Сортировка была адекватной в 80 из 100 виньеток экстренной помощи, в 55 из 100 виньеток без срочности и в 33 из 100 виньеток самопомощи (Semigran и соавторы, 2015). Результат сортировки варьировался от 33 до 78 из 100 между приложениями (Semigran и соавторы, 2015), и авторы заключили, что недостатки были как в сортировке, так и в диагнозе. Приложения склонялись к тому, чтобы отправить за помощью, даже когда самопомощи было достаточно, а среднее значение скрывает направление ошибки. Текст об искусственном интеллекте в клиническом рассуждении обсуждает ту же осторожность с более новыми инструментами.

Пять лет спустя

Команда повторила исследование в 2020 году с 22 проверяющими и теми же 45 виньетками и сравнила результаты с публичными данными о сортировке, выполненной непрофессионалами без помощи (Schmieding и соавторы, 2022). Приложения 2020 года были менее осторожны к риску, чем приложения 2015 года, и пропустили более 40 из 100 экстренных случаев. Немногие превзошли непрофессионалов в решении о том, нужна ли экстренная помощь, или в решении о том, достаточно ли самопомощи, и ни одно не превзошло непрофессионалов в обоих.

Авторы заключили, что средняя сортировка проверяющих не улучшилась за пять лет и ухудшилась в двух применениях: совет о том, когда необходима экстренная помощь, и о том, когда никакая помощь в данный момент не нужна (Schmieding и соавторы, 2022). Текст о сортировке при катастрофах показывает, как простые правила пытаются уравновесить избыток и недостаток срочности в другом контексте.

Что нашли обзоры

Систематический обзор объединил 29 публикаций о проверяющих симптомы и цифровых службах сортировки (Chambers и соавторы, 2019). Доказательства о безопасности пациента были слабыми, а точность диагноза в целом низкой. Сортировка, выполненная алгоритмом, была более осторожной к риску, чем выполненная медицинскими работниками. Авторы также нашли очень мало доказательств о том, следовали ли пациенты полученным советам. Этот последний пункт центральный: верный совет защищает пациента, только если ему следуют, а неверный совет причиняет вред, только если ему следуют. Измерение точности без измерения того, что пользователь делает после, оставляет половину вопроса без ответа.

Более поздний обзор обнаружил точность основного диагноза от 19 до 37,9 из 100 оценок и точность сортировки от 48,8 до 90,1 из 100 (Wallace и соавторы, 2022). Сортировка обычно была точнее диагноза. Результаты различались даже тогда, когда введённые данные были одинаковыми, что показывает: способ использования инструмента тоже имеет значение.

Сравнение с семейными врачами

Исследование с 200 виньетками первичной помощи сравнило восемь приложений с семью семейными врачами (Gilbert и соавторы, 2020). Покрытие, то есть способность дать какой-либо ответ на виньетку, варьировалось от 99,0 из 100 виньеток у Ada до 51,5 у Babylon (Gilbert и соавторы, 2020). Среди первых трёх предложений врачи в среднем были точны в 82,1 из 100 виньеток, Ada — в 70,5, а Your.MD — в 23,5 (Gilbert и соавторы, 2020). В безопасном совете о срочности врачи в среднем достигали 97,0 из 100 (Gilbert и соавторы, 2020).

У этого исследования есть важное ограничение: большинство авторов работали в Ada Health, компании одного из оцениваемых приложений (Gilbert и соавторы, 2020). Этот факт не отменяет результат, но требует внимательного чтения. В любом сравнении продуктов стоит спрашивать, кто проводил исследование.

Исследование	Дизайн	Главный результат	Источник
Ссылка 2015 года	23 приложения, 45 виньеток	Правильный диагноз на первом месте у 34 из 100	Semigran и соавторы, 2015
Повторение в 2020 году	22 приложения, те же виньетки	Более 40 из 100 неотложных состояний пропущено	Schmieding и соавторы, 2022
Первичная помощь	8 приложений и 7 врачей, 200 виньеток	Врачи чаще попадали в число первых трёх предположений	Gilbert и соавторы, 2020
Неотложная помощь	40 пациентов, принятых с Ada	Чувствительность близка к чувствительности врачей, видевших те же данные	Fraser и соавторы, 2022
Ревматология	600 пациентов в рандомизированном исследовании	Умеренная точность для воспалительного ревматического заболевания	Knitza и соавторы, 2024
Первичная и неотложная помощь	Прототип на 581 пациенте	Точность при сортировке выше, чем у самих пациентов	Chan и соавторы, 2021

Настоящие пациенты, а не виньетки

Большинство исследований использует симулированных пациентов, и данных о безопасности и точности, когда проверяющий инструмент применяют настоящие пациенты, мало (Chan и соавторы, 2021). Поэтому исследования с настоящими пациентами наиболее информативны для тех, кто хочет знать, что происходит вне лаборатории.

В неотложной помощи

В одном отделении неотложной помощи в США 40 из 50 приглашённых пациентов завершили оценку с Ada и опрос о удобстве использования (Fraser и соавторы, 2022). Три независимых врача неотложной помощи увидели те же симптомы, введённые пациентами, и поставили собственные диагнозы. Чувствительность Ada хотя бы к одному из окончательных диагнозов с учётом первых пяти предположений составила 70 из 100, что близко к среднему значению 68,9 у врачей с учётом их первых трёх (Fraser и соавторы, 2022).

В некоторых оценках не хватало данных или не было ясного диагноза в неотложной помощи, поэтому 30 из 40 вошли в анализ диагноза, а 37 — в анализ сортировки (Fraser и соавторы, 2022). Независимые врачи также следовали фиксированному порядку: сначала смотрели только введённые симптомы, затем показатели жизнедеятельности и после этого заново формулировали три основных предположения. У них первое предположение совпало с окончательным диагнозом в среднем в 14 из 30 проанализированных оценок (Fraser и соавторы, 2022).

Авторы расценили результат как предварительное свидетельство того, что проверяющий инструмент может иметь приемлемые удобство использования и точность для пациентов с разными неотложными состояниями (Fraser и соавторы, 2022). Малая выборка требует осторожности, а дизайн показывает полезный для рассуждения момент: даже опытные врачи, видя только введённое пациентом, угадывали первое предположение менее чем в половине случаев. История, написанная пациентом, — ценная, но неполная подсказка.

В ревматологии

Воспалительные ревматические заболевания часто диагностируют с опозданием из-за неспецифических симптомов и нехватки ревматологов (Knitza и соавторы, 2024). Рандомизированное исследование в трёх центрах включило 600 новых пациентов, из которых 214 получили диагноз воспалительного ревматического заболевания. Первое предположение Ada верно определило наличие или отсутствие этого заболевания у 63 из 100 пациентов, а список первых пяти — у 58 из 100 (Knitza и соавторы, 2024).

Более раннее исследование с 33 врачами и 132 виньетками показало иную картину (Gräf и соавторы, 2022). Ada выявляла воспалительное ревматическое заболевание чаще врачей — 70 против 54 из 100 — и верно определяла основной диагноз в 54 против 32 из 100. Профессиональный опыт не был связан с точностью. Сами авторы напоминают, что у врачей была только базовая история, без физикального осмотра и дополнительных обследований.

Канадский прототип

Прототип верификатора протестировали на 281 пациенте скорой помощи и 300 пациентах семейных клиник в Канаде (Chan и соавторы, 2021). Чувствительность для неотложных состояний составила 10 из 10 обращений. Для срочных случаев — 73 из 81 среди пациентов больницы и 34 из 35 среди пациентов клиник. Прототип точнее проводил сортировку, чем сами пациенты: 73 против 58 на каждые 100 (Chan и соавторы, 2021).

Что пациенты делают с ответом

Опрос 329 пользователей верификатора Isabel показал самые частые причины использования (Meyer и соавторы, 2020). Главной было лучше понять причину симптомов — её назвали 232 из 304 ответивших, затем шло решение, стоит ли обращаться за помощью и куда. Большинство сообщили, что получили полезную информацию, а половина — о положительном влиянии на здоровье.

Среди ответивших 103 из 213 обсудили результат с врачом, и в этой группе чаще встречался интерес специалиста к тому, что показало приложение, чем его отсутствие (Meyer и соавторы, 2020). Пациенты, уже пережившие диагностическую ошибку, чаще использовали верификатор, чтобы решить, куда обращаться за помощью. Авторы заключили, что, несмотря на сомнения в точности, многие пользователи сочли инструмент полезным для диагностики.

Пациент, который приходит с готовым списком

У этих данных есть практическое следствие. Пациент, который приходит со списком гипотез из приложения, приносит информацию о том, что его беспокоит, и эта тревога может задать направление разговору. Текст о диагностической неопределённости показывает, как принять сомнение пациента, не отказываясь от собственных рассуждений, а текст о сверхдиагностике напоминает о риске чрезмерного обследования.

Этические вопросы

Обзор этических и социальных проблем таких приложений обнаружил спорные дискуссии в литературе и отсутствие специальной правовой перспективы и эмпирических данных (Müller и соавторы, 2022). Авторы напоминают, что телефон всегда рядом, всегда включён, позволяет мгновенное использование и обычно хранит много личных данных, в том числе о здоровье. Эти особенности расширяют охват инструмента, а также повышают необходимую заботу о приватности.

Тот же обзор подчёркивает, что приложения обещают улучшения на нескольких уровнях: пользователь получает информацию о симптомах и ориентиры для движения по системе здравоохранения (Müller и соавторы, 2022). Авторы выступают за эмпирические исследования с участием затронутых людей — пользователей, семейных врачей и специалистов системы здравоохранения, — чтобы понять, как инструмент меняет отношения между пациентом и службой.

Пределы самих исследований

Повторный анализ открытых данных двух исследований с виньетками применил метрики теории тестов (Kopka и соавторы, 2023). Когда сортировку скорректировали с учётом сложности каждой виньетки, большинство приложений изменили позицию в рейтинге. Опубликованные показатели точности обычно завышали возможности верификаторов, потому что они склонны избирательно оценивать более лёгкие случаи.

Авторы также обнаружили много виньеток с очень низкой или даже отрицательной корреляцией с набором, что указывает на пункты низкого качества (Kopka и соавторы, 2023). Предложение — контролировать сложность виньеток, которые каждое приложение смогло или не смогло оценить. Для читателя таких исследований вывод — спрашивать, какие случаи вошли в подсчёт.

Вопросы ниже обобщают, чему упомянутые в этом тексте исследования учат при чтении таких сравнений:

• Случаями были виньетки или принятые пациенты (Chan и соавторы, 2021)?
• Был ли результат скорректирован с учётом сложности виньеток (Kopka и соавторы, 2023)?
• Сколько виньеток приложение оставило без ответа (Gilbert и соавторы, 2020)?
• Есть ли у авторов связь с каким-либо из протестированных продуктов (Gilbert и соавторы, 2020)?
• У сравниваемых врачей был физикальный осмотр или только анамнез (Gräf и соавторы, 2022)?
• Проверялась ли триажная оценка в обе стороны — и избыточная, и недостаточная срочность (Schmieding и соавторы, 2022)?

Каждый вопрос соответствует смещению, которое может завысить или занизить результат. Приложение, оставляющее половину виньеток без ответа, может казаться очень точным на тех, на которые оно ответило. Врач без физикального осмотра оказывается в искусственно невыгодном положении. А триажная оценка, отправляющая всех в приёмное отделение, угадывает все неотложные случаи, но ошибается с теми, кому нужен был только покой.

А чат-боты на генеративном ИИ

В исследовании с 30 виньетками, составленными врачами общей практики, ChatGPT-3 проверяли на распространённых жалобах (Hirosawa и соавторы, 2023). Правильный диагноз вошёл в список из десяти гипотез чат-бота в 28 из 30 виньеток. Врачи всё же чаще попадали в список из пяти гипотез — 98,3 против 83,3 на каждые 100, — и в основной диагноз — 93,3 против 53,3 на каждые 100 (Hirosawa и соавторы, 2023). Текст о принятии клинических решений помогает оценивать такой список по тому, что он меняет в тактике, а не по его длине или хорошей формулировке.

Возвращаясь к студентке

Студентке из этой сцены посоветовали обратиться за помощью в тот же день. Судя по исследованиям выше, триажная оценка приложений обычно точнее диагноза (Wallace и соавторы, 2022), но версия 2020 года пропустила много неотложных случаев (Schmieding и соавторы, 2022). Улучшение после обезболивающего — подсказка, которую приложение может не учесть. Хорошо продуманная предтестовая вероятность при боли, сместившейся вправо у молодого человека, указывает на решение обратиться. Текст о телемедицине и рассуждении без осмотра обсуждает похожие ограничения, когда не хватает физикального осмотра.

Как NEXO помогает тренировать такое рассуждение

В NEXO случай дня вымышленный, с реальной клинической картиной и до шести последовательных подсказок, а вы предлагаете диагноз, находя код в МКБ-10.

Ограничения использования игры описаны на странице Экономика NEXO. Если вы исследуете обучение клиническому рассуждению, страница для Researcher объясняет, как связаться. Специалисты, которые пишут или проверяют случаи, найдут информацию в разделах Curator и Creators, а учреждения могут узнать о предложении на странице для партнёрств. Тренировка с дифференциальным диагнозом и подсказками и умение находить нужный код в МКБ-10 дополняют эту практику.

Частые вопросы

Угадывают ли проверщики симптомов диагноз?

В 2015 году правильный диагноз оказался на первом месте в 34 из 100 оценок и среди первых 20 — в 58 из 100 (Semigran и соавторы, 2015).

Триажная оценка приложений лучше диагноза?

Точность триажной оценки обычно выше точности основного диагноза (Wallace и соавторы, 2022).

Стали ли приложения лучше со временем?

Повторная проверка в 2020 году показала среднюю триажную оценку такую же, как в 2015 году, и худшую в двух случаях применения (Schmieding и соавторы, 2022).

Могут ли пациенты в приёмном отделении пользоваться этими инструментами?

В приёмном отделении 40 из 50 приглашённых пациентов завершили оценку и опрос о удобстве использования (Fraser и соавторы, 2022).

Как читать исследование, сравнивающее приложения?

Стоит проверить, кто проводил исследование и была ли поправка результата на сложность виньеток (Kopka и соавторы, 2023).

Главные выводы

• Проверщики симптомов предлагают возможные причины и уровень срочности на основе того, что вводит пользователь.
• Правильный диагноз на первом месте появился примерно в трети оценок в 2015 году.
• Триажная оценка обычно точнее диагноза, но приложения 2020 года пропустили много неотложных случаев.
• Врачи общей практики чаще приложений попадали в первые три гипотезы.
• На реальных пациентах некоторые приложения показали результат, близкий к результату врачей с теми же данными.
• Исследования с виньетками могут завышать точность, когда приложения решают только лёгкие случаи.
• Пациент, приходящий со списком от приложения, приносит тревогу, которую стоит выслушать.

Хотите потренировать рассуждение с последовательными подсказками? Сыграйте в случай дня.

Источники

1. Chambers D, Cantrell AJ, Johnson M, et al. Digital and online symptom checkers and health assessment/triage services for urgent health problems: systematic review. BMJ Open. 2019. PMID 31375610.
2. Chan F, Lai S, Pieterman M, et al. Performance of a new symptom checker in patient triage: Canadian cohort study. PLoS One. 2021. PMID 34852016.
3. Fraser HSF, Cohan G, Koehler C, et al. Evaluation of Diagnostic and Triage Accuracy and Usability of a Symptom Checker in an Emergency Department: Observational Study. JMIR Mhealth Uhealth. 2022. PMID 36121688.
4. Gilbert S, Mehl A, et al. How accurate are digital symptom assessment apps for suggesting conditions and urgency advice? A clinical vignettes comparison to GPs. BMJ Open. 2020. PMID 33328258.
5. Gräf M, Knitza J, Leipe J, et al. Comparison of physician and artificial intelligence-based symptom checker diagnostic accuracy. Rheumatol Int. 2022. PMID 36087130.
6. Hirosawa T, Harada Y, Yokose M, et al. Diagnostic Accuracy of Differential-Diagnosis Lists Generated by Generative Pretrained Transformer 3 Chatbot for Clinical Vignettes with Common Chief Complaints: A Pilot Study. Int J Environ Res Public Health. 2023. PMID 36834073.
7. Knitza J, Tascilar K, Fuchs F, et al. Diagnostic Accuracy of a Mobile AI-Based Symptom Checker and a Web-Based Self-Referral Tool in Rheumatology: Multicenter Randomized Controlled Trial. J Med Internet Res. 2024. PMID 39042425.
8. Kopka M, Feufel MA, Berner ES, et al. How suitable are clinical vignettes for the evaluation of symptom checker apps? A test theoretical perspective. Digit Health. 2023. PMID 37614591.
9. Meyer AND, Giardina TD, Spitzmueller C, et al. Patient Perspectives on the Usefulness of an Artificial Intelligence-Assisted Symptom Checker: Cross-Sectional Survey Study. J Med Internet Res. 2020. PMID 32012052.
10. Morse KE, Ostberg NP, Jones VG, et al. Use Characteristics and Triage Acuity of a Digital Symptom Checker in a Large Integrated Health System: Population-Based Descriptive Study. J Med Internet Res. 2020. PMID 33170799.
11. Müller R, Klemmt M, Ehni HJ, et al. Ethical, legal, and social aspects of symptom checker applications: a scoping review. Med Health Care Philos. 2022. PMID 36181620.
12. Schmieding ML, Kopka M, Schmidt K, et al. Triage Accuracy of Symptom Checker Apps: 5-Year Follow-up Evaluation. J Med Internet Res. 2022. PMID 35536633.
13. Semigran HL, Linder JA, Gidengil C, et al. Evaluation of symptom checkers for self diagnosis and triage: audit study. BMJ. 2015. PMID 26157077.
14. Wallace W, Chan C, Chidambaram S, et al. The diagnostic and triage accuracy of digital and online symptom checker tools: a systematic review. NPJ Digit Med. 2022. PMID 35977992.