Verificadores de sintomas: o que acertam e onde erram
Sumário
Uma estudante de 22 anos acorda com dor na barriga que começou perto do umbigo e agora parece mais para a direita. Antes de decidir se vai à emergência, abre um aplicativo no celular, responde a uma série de perguntas e recebe uma lista de possíveis causas e um conselho de urgência. O aplicativo sugere procurar atendimento no mesmo dia. Ela hesita, porque a dor melhorou um pouco depois de um analgésico. A cena é fictícia e foi escrita para ensino.
Este texto trata dos verificadores de sintomas, ferramentas digitais que ajudam leigos a avaliar a urgência e as possíveis causas das próprias queixas. A proposta é olhar para o que os estudos mostram sobre o acerto do diagnóstico e da triagem, sobre o uso por pacientes de verdade e sobre os limites dos próprios estudos. Se você joga o caso do dia no NEXO, vai reconhecer o desafio: as pistas chegam aos poucos, e a ordem das hipóteses muda conforme elas chegam.
Principais pontos
- Em 2015, 23 verificadores listaram o diagnóstico certo em primeiro lugar em cerca de um terço das avaliações.
- Cinco anos depois, a triagem média dos aplicativos não tinha melhorado e eles ficaram menos cautelosos.
- O acerto da triagem costuma ser maior do que o acerto do diagnóstico.
- Em 2020, os aplicativos ficaram abaixo dos leigos em pelo menos uma das duas decisões de triagem testadas.
- Pacientes de emergência conseguiram usar um verificador e acharam a ferramenta útil.
- Estudos com vinhetas podem superestimar o desempenho, porque os aplicativos tendem a resolver os casos mais fáceis.
O que é um verificador de sintomas
Verificadores de sintomas são ferramentas digitais que ajudam leigos a avaliar se e onde procurar atendimento, e para quais diagnósticos, a partir dos sintomas e da história que o próprio usuário informa (Schmieding e colaboradores, 2022). Muitos usam um formato de conversa, como um chatbot, e se propõem a dar diagnóstico rápido e triagem consistente (Morse e colaboradores, 2020).
Uma revisão sobre ética descreve as duas funções principais. A primeira informa as condições que poderiam explicar os sintomas. A segunda, a triagem, diz se é preciso procurar ajuda, onde, como no médico de família ou na emergência, e com que urgência, como dentro de alguns dias (Müller e colaboradores, 2022). Os mesmos autores lembram que os aplicativos de celular podem usar recursos do aparelho, como localização e câmera, e até se conectar a dispositivos vestíveis.
Por que esse tema importa para o raciocínio
O verificador faz, de forma automática, o que o clínico faz na primeira conversa: junta queixas, pergunta o que falta e propõe uma lista de hipóteses com uma decisão de urgência. Estudar onde ele erra ajuda a ver onde o próprio raciocínio pode errar. O texto sobre sinais, sintomas e história mostra como ouvir o relato sem perder o que importa.
Quem usa
Em um grande sistema de saúde dos Estados Unidos, foram feitas 26.646 avaliações com um verificador em formato de chatbot, a maior parte por mulheres, com idade média de 34,3 anos (Morse e colaboradores, 2020). Quase metade das avaliações, 12.357, aconteceu fora do horário comercial dos consultórios. Os autores concluíram que os usuários representavam bem a população atendida, embora fossem mais jovens e mais frequentemente mulheres, e que as recomendações de triagem foram comparáveis às de linhas telefônicas de triagem com enfermeiros.
No mesmo serviço, o conselho de triagem tomava a forma de uma entre oito sugestões possíveis, agrupadas em níveis de urgência baixa, média e alta (Morse e colaboradores, 2020). Os autores lembram que se espera desses aplicativos uma redução de visitas desnecessárias a consultórios e emergências, e citam um estudo anterior em que fazer uma avaliação na internet reduziu a urgência do atendimento que os pacientes pretendiam procurar (Morse e colaboradores, 2020). Eles também apontam que ainda se sabe pouco sobre as recomendações somadas de um verificador usado por uma população grande.
O horário de uso chama atenção. Quando quase metade das avaliações acontece fora do horário dos consultórios (Morse e colaboradores, 2020), o aplicativo ocupa justamente o espaço em que o paciente teria menos com quem conversar. É nesse momento que um conselho de urgência errado, para mais ou para menos, pesa mais.
O estudo de referência de 2015
O trabalho que virou referência testou 23 verificadores com 45 vinhetas clínicas, digitadas no aplicativo como se fossem pacientes (Semigran e colaboradores, 2015). O diagnóstico correto apareceu em primeiro lugar em 34 a cada 100 avaliações e entre as 20 primeiras sugestões em 58 a cada 100 (Semigran e colaboradores, 2015).
A triagem foi adequada em 80 a cada 100 vinhetas de emergência, em 55 a cada 100 vinhetas sem urgência e em 33 a cada 100 vinhetas de autocuidado (Semigran e colaboradores, 2015). O desempenho de triagem variou de 33 a 78 a cada 100 entre os aplicativos (Semigran e colaboradores, 2015), e os autores concluíram que havia deficiências tanto na triagem quanto no diagnóstico. Os aplicativos tendiam a mandar procurar atendimento mesmo quando o autocuidado bastava, e a média esconde a direção do erro. O texto sobre inteligência artificial no raciocínio clínico discute o mesmo cuidado com ferramentas mais recentes.
Cinco anos depois
Uma equipe repetiu o estudo em 2020, com 22 verificadores e as mesmas 45 vinhetas, e comparou os resultados com dados públicos sobre a triagem feita por leigos sem ajuda (Schmieding e colaboradores, 2022). Os aplicativos de 2020 estavam menos avessos ao risco do que os de 2015 e deixaram passar mais de 40 a cada 100 emergências. Poucos superaram os leigos na decisão sobre precisar de emergência ou na decisão sobre bastar o autocuidado, e nenhum superou os leigos nas duas.
Os autores concluíram que a triagem média dos verificadores não melhorou em cinco anos e piorou em dois usos: o conselho sobre quando a emergência é necessária e sobre quando nenhum atendimento é necessário no momento (Schmieding e colaboradores, 2022). O texto sobre triagem em desastre mostra como regras simples tentam equilibrar excesso e falta de urgência em outro contexto.
O que as revisões encontraram
Uma revisão sistemática reuniu 29 publicações sobre verificadores e serviços digitais de triagem (Chambers e colaboradores, 2019). A evidência sobre segurança do paciente era fraca, e o acerto diagnóstico era em geral baixo. A triagem feita por algoritmo foi mais avessa ao risco do que a feita por profissionais de saúde. Os autores também encontraram muito pouca evidência sobre se os pacientes seguiam os conselhos recebidos. Esse último ponto é central: um conselho correto só protege o paciente se for seguido, e um conselho errado só causa dano se for seguido. Medir o acerto sem medir o que o usuário faz depois deixa metade da pergunta sem resposta.
Uma revisão mais recente encontrou acerto do diagnóstico principal entre 19 e 37,9 a cada 100 avaliações e acerto da triagem entre 48,8 e 90,1 a cada 100 (Wallace e colaboradores, 2022). A triagem costumava acertar mais do que o diagnóstico. Os resultados variaram mesmo quando os dados digitados eram os mesmos, o que mostra que a forma de usar a ferramenta também pesa.
Comparação com médicos de família
Um estudo com 200 vinhetas de atenção primária comparou oito aplicativos com sete médicos de família (Gilbert e colaboradores, 2020). A cobertura, isto é, a capacidade de dar alguma resposta para a vinheta, variou de 99,0 a cada 100 vinhetas na Ada a 51,5 no Babylon (Gilbert e colaboradores, 2020). Entre as três primeiras sugestões, os médicos acertaram em média 82,1 a cada 100 vinhetas, a Ada 70,5 e o Your.MD 23,5 (Gilbert e colaboradores, 2020). No conselho de urgência seguro, os médicos chegaram em média a 97,0 a cada 100 (Gilbert e colaboradores, 2020).
Esse estudo tem uma limitação importante: a maior parte dos autores trabalhava na Ada Health, empresa de um dos aplicativos avaliados (Gilbert e colaboradores, 2020). O dado não invalida o resultado, mas pede leitura atenta. Em qualquer comparação entre produtos, vale perguntar quem fez o estudo.
| Estudo | Desenho | Achado principal | Fonte |
|---|---|---|---|
| Referência de 2015 | 23 aplicativos, 45 vinhetas | Diagnóstico certo em primeiro lugar em 34 a cada 100 | Semigran e colaboradores, 2015 |
| Repetição em 2020 | 22 aplicativos, mesmas vinhetas | Mais de 40 a cada 100 emergências perdidas | Schmieding e colaboradores, 2022 |
| Atenção primária | 8 aplicativos e 7 médicos, 200 vinhetas | Médicos acertaram mais entre as três primeiras sugestões | Gilbert e colaboradores, 2020 |
| Emergência | 40 pacientes atendidos, com a Ada | Sensibilidade próxima à de médicos que viram os mesmos dados | Fraser e colaboradores, 2022 |
| Reumatologia | 600 pacientes em ensaio randomizado | Acerto moderado para doença reumática inflamatória | Knitza e colaboradores, 2024 |
| Atenção primária e emergência | Protótipo em 581 pacientes | Mais acerto na triagem do que os próprios pacientes | Chan e colaboradores, 2021 |
Pacientes de carne e osso, e não vinhetas
A maior parte dos estudos usa pacientes simulados, e há pouca evidência sobre segurança e acerto quando o verificador é usado por pacientes de verdade (Chan e colaboradores, 2021). Por isso, os estudos com pacientes de verdade são os mais informativos para quem quer saber o que acontece fora do laboratório.
Na emergência
Em uma emergência dos Estados Unidos, 40 dos 50 pacientes convidados completaram a avaliação com a Ada e uma pesquisa de usabilidade (Fraser e colaboradores, 2022). Três médicos de emergência independentes viram os mesmos sintomas digitados pelos pacientes e fizeram seus próprios diagnósticos. A sensibilidade da Ada para pelo menos um dos diagnósticos finais, considerando suas cinco primeiras sugestões, foi de 70 a cada 100, perto da média de 68,9 dos médicos considerando suas três primeiras (Fraser e colaboradores, 2022).
Algumas avaliações tinham dados faltando ou ficaram sem diagnóstico claro na emergência, e por isso 30 das 40 entraram na análise do diagnóstico e 37 na análise da triagem (Fraser e colaboradores, 2022). Os médicos independentes também seguiram uma ordem fixa: primeiro olharam só os sintomas digitados, depois os sinais vitais e então refizeram suas três hipóteses principais. Entre eles, a primeira hipótese coincidiu com o diagnóstico final em 14 de 30 avaliações analisadas, em média (Fraser e colaboradores, 2022).
Os autores trataram o resultado como evidência preliminar de que um verificador pode ter usabilidade e acerto aceitáveis para pacientes com condições urgentes variadas (Fraser e colaboradores, 2022). A amostra pequena pede cautela, e o desenho mostra um ponto útil para o raciocínio: mesmo médicos experientes, vendo só o que o paciente digitou, acertaram a primeira hipótese em menos da metade das vezes. A história escrita pelo paciente é uma pista valiosa, mas incompleta.
Na reumatologia
As doenças reumáticas inflamatórias costumam ter diagnóstico atrasado por sintomas pouco específicos e pela falta de reumatologistas (Knitza e colaboradores, 2024). Um ensaio randomizado em três centros incluiu 600 pacientes novos, dos quais 214 receberam diagnóstico de doença reumática inflamatória. A primeira sugestão da Ada acertou a presença ou ausência dessa doença em 63 a cada 100 pacientes, e a lista das cinco primeiras em 58 a cada 100 (Knitza e colaboradores, 2024).
Um estudo anterior com 33 médicos e 132 vinhetas encontrou um cenário diferente (Gräf e colaboradores, 2022). A Ada identificou doença reumática inflamatória com mais frequência do que os médicos, 70 contra 54 a cada 100, e acertou o diagnóstico principal em 54 contra 32 a cada 100. A experiência profissional não se associou ao acerto. Os próprios autores lembram que os médicos tinham apenas a história básica, sem exame físico nem exames complementares.
Um protótipo canadense
Um protótipo de verificador foi testado em 281 pacientes de emergência e 300 de clínicas de família no Canadá (Chan e colaboradores, 2021). A sensibilidade para emergências foi de 10 em 10 atendimentos. Para urgências, foi de 73 em 81 entre pacientes do hospital e de 34 em 35 entre pacientes das clínicas. O protótipo acertou mais a triagem do que os próprios pacientes, 73 contra 58 a cada 100 (Chan e colaboradores, 2021).
O que pacientes fazem com a resposta
Uma pesquisa com 329 usuários do verificador Isabel mostrou os motivos mais comuns de uso (Meyer e colaboradores, 2020). O principal foi entender melhor a causa dos sintomas, citado por 232 de 304 respondentes, seguido de decidir se deveriam procurar atendimento e onde. A maior parte relatou ter recebido informação útil, e metade relatou efeitos positivos sobre a saúde.
Entre os respondentes, 103 de 213 discutiram o resultado com o médico, e nesse grupo foi mais comum sentir interesse do profissional pelo que o aplicativo mostrou do que desinteresse (Meyer e colaboradores, 2020). Pacientes que já tinham sofrido erro diagnóstico usaram mais o verificador para decidir onde procurar atendimento. Os autores concluíram que, apesar das dúvidas sobre o acerto, muitos usuários consideraram a ferramenta útil para o diagnóstico.
O paciente que chega com a lista pronta
Esse dado tem consequência prática. O paciente que chega com uma lista de hipóteses do aplicativo traz informação sobre o que o preocupa, e essa preocupação pode orientar a conversa. O texto sobre incerteza diagnóstica mostra como acolher a dúvida do paciente sem abandonar o próprio raciocínio, e o texto sobre sobrediagnóstico lembra o risco de investigar demais.
Questões éticas
Uma revisão sobre os desafios éticos e sociais desses aplicativos encontrou debates controversos na literatura e falta de perspectiva jurídica específica e de dados empíricos (Müller e colaboradores, 2022). Os autores lembram que o celular fica sempre perto, sempre ligado, permite uso instantâneo e costuma guardar muitos dados pessoais, inclusive de saúde. Essas características aumentam o alcance da ferramenta e também o cuidado necessário com privacidade.
A mesma revisão destaca que os aplicativos prometem melhorias em vários níveis: o usuário recebe informação sobre sintomas e orientação para circular no sistema de saúde (Müller e colaboradores, 2022). Os autores defendem pesquisa empírica com as pessoas afetadas, como usuários, médicos de família e especialistas do sistema de saúde, para entender como a ferramenta muda a relação entre paciente e serviço.
Os limites dos próprios estudos
Uma reanálise dos dados públicos de dois estudos com vinhetas aplicou métricas da teoria dos testes (Kopka e colaboradores, 2023). Quando a triagem foi ajustada pela dificuldade de cada vinheta, a maior parte dos aplicativos mudou de posição no ranking. Os acertos publicados costumavam superestimar a capacidade dos verificadores, porque eles tendem a avaliar seletivamente os casos mais fáceis.
Os autores também encontraram muitas vinhetas com correlação muito baixa ou até negativa com o conjunto, o que sugere itens de baixa qualidade (Kopka e colaboradores, 2023). A proposta é controlar a dificuldade das vinhetas que cada aplicativo conseguiu ou deixou de avaliar. Para quem lê esses estudos, a lição é perguntar quais casos entraram na conta.
As perguntas abaixo resumem o que os estudos citados neste texto ensinam sobre a leitura dessas comparações:
- Os casos eram vinhetas ou pacientes atendidos (Chan e colaboradores, 2021)?
- O resultado foi ajustado pela dificuldade das vinhetas (Kopka e colaboradores, 2023)?
- Quantas vinhetas o aplicativo deixou sem resposta (Gilbert e colaboradores, 2020)?
- Os autores têm ligação com algum dos produtos testados (Gilbert e colaboradores, 2020)?
- Os médicos comparados tinham exame físico ou só a história (Gräf e colaboradores, 2022)?
- A triagem foi medida nos dois sentidos, excesso e falta de urgência (Schmieding e colaboradores, 2022)?
Cada pergunta corresponde a um viés que pode inflar ou reduzir o desempenho. Um aplicativo que deixa metade das vinhetas sem resposta pode parecer muito preciso nas que respondeu. Um médico sem exame físico fica em desvantagem artificial. E uma triagem que manda todo mundo para a emergência acerta todas as emergências, mas falha com quem só precisava de repouso.
E os chatbots de IA generativa
Um estudo com 30 vinhetas criadas por clínicos gerais testou o ChatGPT-3 em queixas comuns (Hirosawa e colaboradores, 2023). O diagnóstico correto apareceu na lista de dez hipóteses do chatbot em 28 das 30 vinhetas. Os médicos ainda acertaram mais na lista de cinco hipóteses, 98,3 contra 83,3 a cada 100, e no diagnóstico principal, 93,3 contra 53,3 a cada 100 (Hirosawa e colaboradores, 2023). O texto sobre tomada de decisão clínica ajuda a pesar uma lista assim pelo que ela muda na conduta, e não pelo tamanho ou pela boa redação.
De volta à estudante
A estudante da cena recebeu um conselho de procurar atendimento no mesmo dia. Pelos estudos acima, a triagem dos aplicativos costuma acertar mais do que o diagnóstico (Wallace e colaboradores, 2022), mas a versão de 2020 deixou passar muitas emergências (Schmieding e colaboradores, 2022). A melhora com o analgésico é uma pista que o aplicativo pode não pesar. Uma probabilidade pré-teste bem pensada, com dor que migrou para a direita em uma pessoa jovem, aponta para a decisão de ir. O texto sobre telemedicina e raciocínio sem exame presencial discute limites parecidos quando falta o exame físico.
Como o NEXO ajuda a treinar esse raciocínio
No NEXO, o caso do dia é fictício, com apresentação clínica real e até seis pistas progressivas, e você propõe o diagnóstico buscando o código na CID-10.
Os limites de uso do jogo estão descritos na página de economia do NEXO. Se você pesquisa ensino de raciocínio clínico, a página para pesquisadores explica como entrar em contato. Profissionais que escrevem ou revisam casos encontram informações em curadoria e em criadores, e instituições podem conhecer a proposta na página para parcerias. Treinar com diagnóstico diferencial e pistas e saber encontrar o código certo na CID-10 completam esse treino.
Perguntas frequentes
Os verificadores de sintomas acertam o diagnóstico?
Em 2015, o diagnóstico correto apareceu em primeiro lugar em 34 a cada 100 avaliações e entre os 20 primeiros em 58 a cada 100 (Semigran e colaboradores, 2015).
A triagem dos aplicativos é melhor que o diagnóstico?
O acerto da triagem costuma ser maior do que o acerto do diagnóstico principal (Wallace e colaboradores, 2022).
Os aplicativos melhoraram com o tempo?
Uma repetição em 2020 encontrou triagem média igual à de 2015 e pior em dois usos (Schmieding e colaboradores, 2022).
Pacientes atendidos na emergência conseguem usar essas ferramentas?
Em uma emergência, 40 de 50 pacientes convidados completaram a avaliação e a pesquisa de usabilidade (Fraser e colaboradores, 2022).
Como ler um estudo que compara aplicativos?
Vale conferir quem fez o estudo e se o resultado foi ajustado pela dificuldade das vinhetas (Kopka e colaboradores, 2023).
Take-home messages
- Verificadores de sintomas sugerem causas e um nível de urgência a partir do que o usuário digita.
- O diagnóstico certo em primeiro lugar apareceu em cerca de um terço das avaliações em 2015.
- A triagem costuma acertar mais do que o diagnóstico, mas os aplicativos de 2020 perderam muitas emergências.
- Médicos de família acertaram mais do que os aplicativos entre as três primeiras hipóteses.
- Com pacientes atendidos de verdade, alguns aplicativos tiveram desempenho próximo ao de médicos com os mesmos dados.
- Estudos com vinhetas podem superestimar o acerto quando os aplicativos resolvem só os casos fáceis.
- O paciente que chega com a lista do aplicativo traz uma preocupação que vale ouvir.
Quer praticar o raciocínio com pistas progressivas? Jogue o caso do dia.
Referências
- Chambers D, Cantrell AJ, Johnson M, et al. Digital and online symptom checkers and health assessment/triage services for urgent health problems: systematic review. BMJ Open. 2019. PMID 31375610.
- Chan F, Lai S, Pieterman M, et al. Performance of a new symptom checker in patient triage: Canadian cohort study. PLoS One. 2021. PMID 34852016.
- Fraser HSF, Cohan G, Koehler C, et al. Evaluation of Diagnostic and Triage Accuracy and Usability of a Symptom Checker in an Emergency Department: Observational Study. JMIR Mhealth Uhealth. 2022. PMID 36121688.
- Gilbert S, Mehl A, et al. How accurate are digital symptom assessment apps for suggesting conditions and urgency advice? A clinical vignettes comparison to GPs. BMJ Open. 2020. PMID 33328258.
- Gräf M, Knitza J, Leipe J, et al. Comparison of physician and artificial intelligence-based symptom checker diagnostic accuracy. Rheumatol Int. 2022. PMID 36087130.
- Hirosawa T, Harada Y, Yokose M, et al. Diagnostic Accuracy of Differential-Diagnosis Lists Generated by Generative Pretrained Transformer 3 Chatbot for Clinical Vignettes with Common Chief Complaints: A Pilot Study. Int J Environ Res Public Health. 2023. PMID 36834073.
- Knitza J, Tascilar K, Fuchs F, et al. Diagnostic Accuracy of a Mobile AI-Based Symptom Checker and a Web-Based Self-Referral Tool in Rheumatology: Multicenter Randomized Controlled Trial. J Med Internet Res. 2024. PMID 39042425.
- Kopka M, Feufel MA, Berner ES, et al. How suitable are clinical vignettes for the evaluation of symptom checker apps? A test theoretical perspective. Digit Health. 2023. PMID 37614591.
- Meyer AND, Giardina TD, Spitzmueller C, et al. Patient Perspectives on the Usefulness of an Artificial Intelligence-Assisted Symptom Checker: Cross-Sectional Survey Study. J Med Internet Res. 2020. PMID 32012052.
- Morse KE, Ostberg NP, Jones VG, et al. Use Characteristics and Triage Acuity of a Digital Symptom Checker in a Large Integrated Health System: Population-Based Descriptive Study. J Med Internet Res. 2020. PMID 33170799.
- Müller R, Klemmt M, Ehni HJ, et al. Ethical, legal, and social aspects of symptom checker applications: a scoping review. Med Health Care Philos. 2022. PMID 36181620.
- Schmieding ML, Kopka M, Schmidt K, et al. Triage Accuracy of Symptom Checker Apps: 5-Year Follow-up Evaluation. J Med Internet Res. 2022. PMID 35536633.
- Semigran HL, Linder JA, Gidengil C, et al. Evaluation of symptom checkers for self diagnosis and triage: audit study. BMJ. 2015. PMID 26157077.
- Wallace W, Chan C, Chidambaram S, et al. The diagnostic and triage accuracy of digital and online symptom checker tools: a systematic review. NPJ Digit Med. 2022. PMID 35977992.