Verificadores de síntomas: qué aciertan y dónde fallan

Una estudiante de 22 años se despierta con dolor en la barriga que comenzó cerca del ombligo y ahora parece más hacia la derecha. Antes de decidir si va a la emergencia, abre una aplicación en el celular, responde a una serie de preguntas y recibe una lista de posibles causas y un consejo de urgencia. La aplicación sugiere buscar atención el mismo día. Ella duda, porque el dolor mejoró un poco después de un analgésico. La escena es ficticia y fue escrita para enseñanza.

Este texto trata de los verificadores de síntomas, herramientas digitales que ayudan a los legos a evaluar la urgencia y las posibles causas de sus propias molestias. La propuesta es mirar lo que los estudios muestran sobre el acierto del diagnóstico y del triaje, sobre el uso por usuarios y sobre los límites de los propios estudios. Si juegas el caso del día en NEXO, vas a reconocer el desafío: las pistas llegan poco a poco, y el orden de las hipótesis cambia conforme llegan.

Puntos principales

• En 2015, 23 verificadores listaron el diagnóstico correcto en primer lugar en cerca de un tercio de las evaluaciones.
• Cinco años después, el triaje promedio de las aplicaciones no había mejorado y estas se volvieron menos cautelosas.
• El acierto del triaje suele ser mayor que el acierto del diagnóstico.
• En 2020, las aplicaciones quedaron por debajo de los legos en al menos una de las dos decisiones de triaje evaluadas.
• Pacientes de emergencia lograron usar un verificador y consideraron la herramienta útil.
• Los estudios con viñetas pueden sobreestimar el desempeño, porque las aplicaciones tienden a resolver los casos más fáciles.

Qué es un verificador de síntomas

Los verificadores de síntomas son herramientas digitales que ayudan a los legos a evaluar si y dónde buscar atención, y para qué diagnósticos, a partir de los síntomas y de la historia que el propio usuario informa (Schmieding y colaboradores, 2022). Muchos usan un formato de conversación, como un chatbot, y se proponen dar diagnóstico rápido y triaje consistente (Morse y colaboradores, 2020).

Una revisión sobre ética describe las dos funciones principales. La primera informa las condiciones que podrían explicar los síntomas. La segunda, el triaje, dice si es necesario buscar ayuda, dónde, como en el médico de familia o en la emergencia, y con qué urgencia, como dentro de algunos días (Müller y colaboradores, 2022). Los mismos autores recuerdan que las aplicaciones de celular pueden usar recursos del aparato, como ubicación y cámara, e incluso conectarse a dispositivos vestibles.

Por qué este tema importa para el razonamiento

El verificador hace, de forma automática, lo que el clínico hace en la primera conversación: reúne molestias, pregunta lo que falta y propone una lista de hipótesis con una decisión de urgencia. Estudiar dónde se equivoca ayuda a ver dónde el propio razonamiento puede equivocarse. El texto sobre signos, síntomas e historia muestra cómo escuchar el relato sin perder lo que importa.

Quién lo usa

En un gran sistema de salud de Estados Unidos, se hicieron 26.646 evaluaciones con un verificador en formato de chatbot, la mayor parte por mujeres, con edad promedio de 34,3 años (Morse y colaboradores, 2020). Casi la mitad de las evaluaciones, 12.357, ocurrió fuera del horario comercial de los consultorios. Los autores concluyeron que los usuarios representaban bien a la población atendida, aunque eran más jóvenes y más frecuentemente mujeres, y que las recomendaciones de triaje fueron comparables a las de líneas telefónicas de triaje con enfermeros.

En el mismo servicio, el consejo de triaje tomaba la forma de una entre ocho sugerencias posibles, agrupadas en niveles de urgencia baja, media y alta (Morse y colaboradores, 2020). Los autores recuerdan que se espera de estas aplicaciones una reducción de visitas innecesarias a consultorios y emergencias, y citan un estudio anterior en el que hacer una evaluación en internet redujo la urgencia de la atención que los pacientes pretendían buscar (Morse y colaboradores, 2020). También señalan que todavía se sabe poco sobre las recomendaciones sumadas de un verificador usado por una población grande.

El horario de uso llama la atención. Cuando casi la mitad de las evaluaciones ocurre fuera del horario de los consultorios (Morse y colaboradores, 2020), la aplicación ocupa justamente el espacio en el que el paciente tendría menos con quién conversar. Es en ese momento cuando un consejo de urgencia equivocado, por exceso o por defecto, pesa más.

El estudio de referencia de 2015

El trabajo que se volvió referencia probó 23 verificadores con 45 viñetas clínicas, escritas en la aplicación como si fueran pacientes (Semigran y colaboradores, 2015). El diagnóstico correcto apareció en primer lugar en 34 de cada 100 evaluaciones y entre las 20 primeras sugerencias en 58 de cada 100 (Semigran y colaboradores, 2015).

El triaje fue adecuado en 80 de cada 100 viñetas de emergencia, en 55 de cada 100 viñetas sin urgencia y en 33 de cada 100 viñetas de autocuidado (Semigran y colaboradores, 2015). El desempeño de triaje varió de 33 a 78 de cada 100 entre las aplicaciones (Semigran y colaboradores, 2015), y los autores concluyeron que había deficiencias tanto en el triaje como en el diagnóstico. Las aplicaciones tendían a mandar a buscar atención incluso cuando el autocuidado bastaba, y el promedio esconde la dirección del error. El texto sobre inteligencia artificial en el razonamiento clínico discute el mismo cuidado con herramientas más recientes.

Cinco años después

Un equipo repitió el estudio en 2020, con 22 verificadores y las mismas 45 viñetas, y comparó los resultados con datos públicos sobre el triaje hecho por legos sin ayuda (Schmieding y colaboradores, 2022). Las aplicaciones de 2020 eran menos reacias al riesgo que las de 2015 y dejaron pasar más de 40 de cada 100 emergencias. Pocas superaron a los legos en la decisión sobre necesitar una emergencia o en la decisión sobre bastar el autocuidado, y ninguna superó a los legos en las dos.

Los autores concluyeron que el triaje promedio de los verificadores no mejoró en cinco años y empeoró en dos usos: el consejo sobre cuándo la emergencia es necesaria y sobre cuándo ningún tipo de atención es necesario en ese momento (Schmieding y colaboradores, 2022). El texto sobre triaje en desastre muestra cómo reglas simples intentan equilibrar exceso y falta de urgencia en otro contexto.

Lo que encontraron las revisiones

Una revisión sistemática reunió 29 publicaciones sobre verificadores y servicios digitales de triaje (Chambers y colaboradores, 2019). La evidencia sobre seguridad del paciente era débil, y el acierto diagnóstico era en general bajo. El triaje hecho por algoritmo era más reacio al riesgo que el hecho por profesionales de la salud. Los autores también encontraron muy poca evidencia sobre si los pacientes seguían los consejos recibidos. Ese último punto es central: un consejo correcto solo protege al paciente si se sigue, y un consejo equivocado solo causa daño si se sigue. Medir el acierto sin medir lo que el usuario hace después deja la mitad de la pregunta sin respuesta.

Una revisión más reciente encontró acierto del diagnóstico principal entre 19 y 37,9 de cada 100 evaluaciones y acierto del triaje entre 48,8 y 90,1 de cada 100 (Wallace y colaboradores, 2022). El triaje solía acertar más que el diagnóstico. Los resultados variaron incluso cuando los datos escritos eran los mismos, lo que muestra que la forma de usar la herramienta también pesa.

Comparación con médicos de familia

Un estudio con 200 viñetas de atención primaria comparó ocho aplicaciones con siete médicos de familia (Gilbert y colaboradores, 2020). La cobertura, es decir, la capacidad de dar alguna respuesta para la viñeta, varió de 99,0 de cada 100 viñetas en Ada a 51,5 en Babylon (Gilbert y colaboradores, 2020). Entre las tres primeras sugerencias, los médicos acertaron en promedio 82,1 de cada 100 viñetas, Ada 70,5 y Your.MD 23,5 (Gilbert y colaboradores, 2020). En el consejo de urgencia segura, los médicos llegaron en promedio a 97,0 de cada 100 (Gilbert y colaboradores, 2020).

Este estudio tiene una limitación importante: la mayoría de los autores trabajaba en Ada Health, empresa de una de las aplicaciones evaluadas (Gilbert y colaboradores, 2020). El dato no invalida el resultado, pero pide una lectura atenta. En cualquier comparación entre productos, vale preguntar quién hizo el estudio.

Estudio	Diseño	Hallazgo principal	Fuente
Referencia de 2015	23 aplicaciones, 45 viñetas	Diagnóstico correcto en primer lugar en 34 de cada 100	Semigran y colaboradores, 2015
Repetición en 2020	22 aplicaciones, las mismas viñetas	Más de 40 de cada 100 emergencias perdidas	Schmieding y colaboradores, 2022
Atención primaria	8 aplicaciones y 7 médicos, 200 viñetas	Los médicos acertaron más entre las tres primeras sugerencias	Gilbert y colaboradores, 2020
Emergencia	40 pacientes atendidos, con Ada	Sensibilidad cercana a la de médicos que vieron los mismos datos	Fraser y colaboradores, 2022
Reumatología	600 pacientes en ensayo aleatorizado	Acierto moderado para enfermedad reumática inflamatoria	Knitza y colaboradores, 2024
Atención primaria y emergencia	Prototipo en 581 pacientes	Más acierto en el triaje que los propios pacientes	Chan y colaboradores, 2021

Pacientes de carne y hueso, y no viñetas

La mayor parte de los estudios usa pacientes simulados, y hay poca evidencia sobre seguridad y acierto cuando los pacientes de verdad usan el verificador (Chan y colaboradores, 2021). Por eso, los estudios con pacientes de verdad son los más informativos para quien quiere saber qué pasa fuera del laboratorio.

En la emergencia

En una emergencia de Estados Unidos, 40 de los 50 pacientes invitados completaron la evaluación con Ada y una encuesta de usabilidad (Fraser y colaboradores, 2022). Tres médicos de emergencia independientes vieron los mismos síntomas digitados por los pacientes e hicieron sus propios diagnósticos. La sensibilidad de Ada para al menos uno de los diagnósticos finales, considerando sus cinco primeras sugerencias, fue de 70 de cada 100, cerca del promedio de 68,9 de los médicos considerando sus tres primeras (Fraser y colaboradores, 2022).

Algunas evaluaciones tenían datos faltantes o quedaron sin diagnóstico claro en la emergencia, y por eso 30 de las 40 entraron en el análisis del diagnóstico y 37 en el análisis del triaje (Fraser y colaboradores, 2022). Los médicos independientes también siguieron un orden fijo: primero miraron solo los síntomas digitados, después los signos vitales y entonces rehicieron sus tres hipótesis principales. Entre ellos, la primera hipótesis coincidió con el diagnóstico final en 14 de 30 evaluaciones analizadas, en promedio (Fraser y colaboradores, 2022).

Los autores trataron el resultado como evidencia preliminar de que un verificador puede tener usabilidad y acierto aceptables para pacientes con condiciones urgentes variadas (Fraser y colaboradores, 2022). La muestra pequeña pide cautela, y el diseño muestra un punto útil para el razonamiento: incluso médicos experimentados, viendo solo lo que el paciente digitó, acertaron la primera hipótesis en menos de la mitad de las veces. La historia escrita por el paciente es una pista valiosa, pero incompleta.

En la reumatología

Las enfermedades reumáticas inflamatorias suelen tener diagnóstico tardío por síntomas poco específicos y por la falta de reumatólogos (Knitza y colaboradores, 2024). Un ensayo aleatorizado en tres centros incluyó 600 pacientes nuevos, de los cuales 214 recibieron diagnóstico de enfermedad reumática inflamatoria. La primera sugerencia de Ada acertó la presencia o ausencia de esa enfermedad en 63 de cada 100 pacientes, y la lista de las cinco primeras en 58 de cada 100 (Knitza y colaboradores, 2024).

Un estudio anterior con 33 médicos y 132 viñetas encontró un escenario diferente (Gräf y colaboradores, 2022). Ada identificó enfermedad reumática inflamatoria con más frecuencia que los médicos, 70 contra 54 de cada 100, y acertó el diagnóstico principal en 54 contra 32 de cada 100. La experiencia profesional no se asoció al acierto. Los propios autores recuerdan que los médicos tenían solo la historia básica, sin examen físico ni exámenes complementarios.

Un prototipo canadiense

Se probó un prototipo de verificador en 281 pacientes de emergencias y 300 de clínicas de familia en Canadá (Chan y colaboradores, 2021). La sensibilidad para emergencias fue de 10 en 10 atenciones. Para urgencias, fue de 73 en 81 entre pacientes del hospital y de 34 en 35 entre pacientes de las clínicas. El prototipo acertó más en el triaje que los propios pacientes, 73 contra 58 por cada 100 (Chan y colaboradores, 2021).

Qué hacen los pacientes con la respuesta

Una encuesta con 329 usuarios del verificador Isabel mostró los motivos más comunes de uso (Meyer y colaboradores, 2020). El principal fue entender mejor la causa de los síntomas, citado por 232 de 304 encuestados, seguido de decidir si debían buscar atención y dónde. La mayor parte informó haber recibido información útil, y la mitad informó efectos positivos sobre la salud.

Entre los encuestados, 103 de 213 discutieron el resultado con el médico, y en ese grupo fue más común sentir interés del profesional por lo que mostró la aplicación que desinterés (Meyer y colaboradores, 2020). Los pacientes que ya habían sufrido un error diagnóstico usaron más el verificador para decidir dónde buscar atención. Los autores concluyeron que, pese a las dudas sobre el acierto, muchos usuarios consideraron la herramienta útil para el diagnóstico.

El paciente que llega con la lista lista

Ese dato tiene consecuencia práctica. El paciente que llega con una lista de hipótesis de la aplicación trae información sobre lo que le preocupa, y esa preocupación puede orientar la conversación. El texto sobre incertidumbre diagnóstica muestra cómo acoger la duda del paciente sin abandonar el propio razonamiento, y el texto sobre sobrediagnóstico recuerda el riesgo de investigar demasiado.

Cuestiones éticas

Una revisión sobre los desafíos éticos y sociales de estas aplicaciones encontró debates controvertidos en la literatura y falta de perspectiva jurídica específica y de datos empíricos (Müller y colaboradores, 2022). Los autores recuerdan que el celular está siempre cerca, siempre encendido, permite uso instantáneo y suele guardar muchos datos personales, incluso de salud. Esas características aumentan el alcance de la herramienta y también el cuidado necesario con la privacidad.

La misma revisión destaca que las aplicaciones prometen mejoras en varios niveles: el usuario recibe información sobre síntomas y orientación para circular en el sistema de salud (Müller y colaboradores, 2022). Los autores defienden la investigación empírica con las personas afectadas, como usuarios, médicos de familia y especialistas del sistema de salud, para entender cómo la herramienta cambia la relación entre paciente y servicio.

Los límites de los propios estudios

Un reanálisis de los datos públicos de dos estudios con viñetas aplicó métricas de la teoría de los tests (Kopka y colaboradores, 2023). Cuando el triaje se ajustó por la dificultad de cada viñeta, la mayor parte de las aplicaciones cambió de posición en el ranking. Los aciertos publicados solían sobreestimar la capacidad de los verificadores, porque tienden a evaluar selectivamente los casos más fáciles.

Los autores también encontraron muchas viñetas con correlación muy baja o incluso negativa con el conjunto, lo que sugiere ítems de baja calidad (Kopka y colaboradores, 2023). La propuesta es controlar la dificultad de las viñetas que cada aplicación logró o dejó de evaluar. Para quien lee estos estudios, la lección es preguntar qué casos entraron en la cuenta.

Las preguntas siguientes resumen lo que los estudios citados en este texto enseñan sobre la lectura de estas comparaciones:

• ¿Los casos eran viñetas o pacientes atendidos (Chan y colaboradores, 2021)?
• ¿El resultado se ajustó por la dificultad de las viñetas (Kopka y colaboradores, 2023)?
• ¿Cuántas viñetas dejó la aplicación sin respuesta (Gilbert y colaboradores, 2020)?
• ¿Los autores tienen vínculo con alguno de los productos evaluados (Gilbert y colaboradores, 2020)?
• ¿Los médicos comparados tenían examen físico o solo la historia (Gräf y colaboradores, 2022)?
• ¿Se midió el triaje en ambos sentidos, exceso y falta de urgencia (Schmieding y colaboradores, 2022)?

Cada pregunta corresponde a un sesgo que puede inflar o reducir el desempeño. Una aplicación que deja la mitad de las viñetas sin respuesta puede parecer muy precisa en las que respondió. Un médico sin examen físico queda en desventaja artificial. Y un triaje que manda a todo el mundo a urgencias acierta todas las urgencias, pero falla con quien solo necesitaba reposo.

Y los chatbots de IA generativa

Un estudio con 30 viñetas creadas por médicos generales probó ChatGPT-3 en molestias comunes (Hirosawa y colaboradores, 2023). El diagnóstico correcto apareció en la lista de diez hipótesis del chatbot en 28 de las 30 viñetas. Los médicos siguieron acertando más en la lista de cinco hipótesis, 98,3 contra 83,3 por cada 100, y en el diagnóstico principal, 93,3 contra 53,3 por cada 100 (Hirosawa y colaboradores, 2023). El texto sobre toma de decisiones clínicas ayuda a valorar una lista así por lo que cambia en la conducta, y no por su tamaño o su buena redacción.

De vuelta a la estudiante

La estudiante de la escena recibió el consejo de buscar atención el mismo día. Según los estudios anteriores, el triaje de las aplicaciones suele acertar más que el diagnóstico (Wallace y colaboradores, 2022), pero la versión de 2020 dejó pasar muchas urgencias (Schmieding y colaboradores, 2022). La mejoría con el analgésico es una pista que la aplicación puede no valorar. Una probabilidad pretest bien pensada, con dolor que migró a la derecha en una persona joven, apunta a la decisión de ir. El texto sobre telemedicina y razonamiento sin examen presencial discute límites parecidos cuando falta el examen físico.

Cómo ayuda NEXO a entrenar ese razonamiento

En NEXO, el caso del día es ficticio, con presentación clínica real y hasta seis pistas progresivas, y tú propones el diagnóstico buscando el código en la CIE-10.

Los límites de uso del juego están descritos en la página de economía de NEXO. Si investigas la enseñanza del razonamiento clínico, la página para Researcher explica cómo entrar en contacto. Los profesionales que escriben o revisan casos encuentran información en Curator y en Creators, y las instituciones pueden conocer la propuesta en la página para alianzas. Entrenar con diagnóstico diferencial y pistas y saber encontrar el código correcto en la CIE-10 completan ese entrenamiento.

Preguntas frecuentes

¿Los verificadores de síntomas aciertan el diagnóstico?

En 2015, el diagnóstico correcto apareció en primer lugar en 34 de cada 100 evaluaciones y entre los 20 primeros en 58 de cada 100 (Semigran y colaboradores, 2015).

¿El triaje de las aplicaciones es mejor que el diagnóstico?

El acierto del triaje suele ser mayor que el acierto del diagnóstico principal (Wallace y colaboradores, 2022).

¿Las aplicaciones mejoraron con el tiempo?

Una repetición en 2020 encontró un triaje promedio igual al de 2015 y peor en dos usos (Schmieding y colaboradores, 2022).

¿Los pacientes atendidos en urgencias consiguen usar estas herramientas?

En una urgencia, 40 de 50 pacientes invitados completaron la evaluación y la encuesta de usabilidad (Fraser y colaboradores, 2022).

Cómo leer un estudio que compara aplicaciones

Conviene revisar quién hizo el estudio y si el resultado se ajustó por la dificultad de las viñetas (Kopka y colaboradores, 2023).

Mensajes clave

• Los verificadores de síntomas sugieren causas y un nivel de urgencia a partir de lo que el usuario escribe.
• El diagnóstico correcto en primer lugar apareció en cerca de un tercio de las evaluaciones en 2015.
• El triaje suele acertar más que el diagnóstico, pero las aplicaciones de 2020 perdieron muchas urgencias.
• Los médicos de familia acertaron más que las aplicaciones entre las tres primeras hipótesis.
• Con pacientes atendidos de verdad, algunas aplicaciones tuvieron un desempeño cercano al de médicos con los mismos datos.
• Los estudios con viñetas pueden sobreestimar el acierto cuando las aplicaciones resuelven solo los casos fáciles.
• El paciente que llega con la lista de la aplicación trae una preocupación que vale la pena escuchar.

¿Quieres practicar el razonamiento con pistas progresivas? Juega el caso del día.

Referencias

1. Chambers D, Cantrell AJ, Johnson M, et al. Digital and online symptom checkers and health assessment/triage services for urgent health problems: systematic review. BMJ Open. 2019. PMID 31375610.
2. Chan F, Lai S, Pieterman M, et al. Performance of a new symptom checker in patient triage: Canadian cohort study. PLoS One. 2021. PMID 34852016.
3. Fraser HSF, Cohan G, Koehler C, et al. Evaluation of Diagnostic and Triage Accuracy and Usability of a Symptom Checker in an Emergency Department: Observational Study. JMIR Mhealth Uhealth. 2022. PMID 36121688.
4. Gilbert S, Mehl A, et al. How accurate are digital symptom assessment apps for suggesting conditions and urgency advice? A clinical vignettes comparison to GPs. BMJ Open. 2020. PMID 33328258.
5. Gräf M, Knitza J, Leipe J, et al. Comparison of physician and artificial intelligence-based symptom checker diagnostic accuracy. Rheumatol Int. 2022. PMID 36087130.
6. Hirosawa T, Harada Y, Yokose M, et al. Diagnostic Accuracy of Differential-Diagnosis Lists Generated by Generative Pretrained Transformer 3 Chatbot for Clinical Vignettes with Common Chief Complaints: A Pilot Study. Int J Environ Res Public Health. 2023. PMID 36834073.
7. Knitza J, Tascilar K, Fuchs F, et al. Diagnostic Accuracy of a Mobile AI-Based Symptom Checker and a Web-Based Self-Referral Tool in Rheumatology: Multicenter Randomized Controlled Trial. J Med Internet Res. 2024. PMID 39042425.
8. Kopka M, Feufel MA, Berner ES, et al. How suitable are clinical vignettes for the evaluation of symptom checker apps? A test theoretical perspective. Digit Health. 2023. PMID 37614591.
9. Meyer AND, Giardina TD, Spitzmueller C, et al. Patient Perspectives on the Usefulness of an Artificial Intelligence-Assisted Symptom Checker: Cross-Sectional Survey Study. J Med Internet Res. 2020. PMID 32012052.
10. Morse KE, Ostberg NP, Jones VG, et al. Use Characteristics and Triage Acuity of a Digital Symptom Checker in a Large Integrated Health System: Population-Based Descriptive Study. J Med Internet Res. 2020. PMID 33170799.
11. Müller R, Klemmt M, Ehni HJ, et al. Ethical, legal, and social aspects of symptom checker applications: a scoping review. Med Health Care Philos. 2022. PMID 36181620.
12. Schmieding ML, Kopka M, Schmidt K, et al. Triage Accuracy of Symptom Checker Apps: 5-Year Follow-up Evaluation. J Med Internet Res. 2022. PMID 35536633.
13. Semigran HL, Linder JA, Gidengil C, et al. Evaluation of symptom checkers for self diagnosis and triage: audit study. BMJ. 2015. PMID 26157077.
14. Wallace W, Chan C, Chidambaram S, et al. The diagnostic and triage accuracy of digital and online symptom checker tools: a systematic review. NPJ Digit Med. 2022. PMID 35977992.