Vérificateurs de symptômes : ce qu'ils réussissent

Une étudiante de 22 ans se réveille avec une douleur au ventre qui a commencé près du nombril et qui semble maintenant plus à droite. Avant de décider si elle va aux urgences, elle ouvre une application sur son téléphone, répond à une série de questions et reçoit une liste de causes possibles et un conseil d'urgence. L'application suggère de consulter le jour même. Elle hésite, parce que la douleur s'est un peu atténuée après un antalgique. La scène est fictive et a été écrite pour l'enseignement.

Ce texte traite des vérificateurs de symptômes, des outils numériques qui aident les profanes à évaluer l'urgence et les causes possibles de leurs propres plaintes. L'objectif est de regarder ce que les études montrent sur l'exactitude du diagnostic et du triage, sur l'usage par de vrais patients et sur les limites des études elles-mêmes. Si vous jouez le cas du jour dans NEXO, vous reconnaîtrez le défi : les indices arrivent peu à peu, et l'ordre des hypothèses change à mesure qu'ils arrivent.

Points principaux

• En 2015, 23 vérificateurs plaçaient le bon diagnostic en premier dans environ un tiers des évaluations.
• Cinq ans plus tard, le triage moyen des applications ne s'était pas amélioré et elles étaient devenues moins prudentes.
• L'exactitude du triage est généralement plus élevée que l'exactitude du diagnostic.
• En 2020, les applications se sont situées en dessous des profanes dans au moins une des deux décisions de triage testées.
• Des patients des urgences ont réussi à utiliser un vérificateur et ont trouvé l'outil utile.
• Les études avec vignettes peuvent surestimer la performance, parce que les applications tendent à résoudre les cas les plus faciles.

Qu'est-ce qu'un vérificateur de symptômes

Les vérificateurs de symptômes sont des outils numériques qui aident les profanes à évaluer s'il faut consulter et où, et pour quels diagnostics, à partir des symptômes et de l'histoire que l'utilisateur lui-même rapporte (Schmieding et collaborateurs, 2022). Beaucoup utilisent un format de conversation, comme un chatbot, et se proposent de donner un diagnostic rapide et un triage cohérent (Morse et collaborateurs, 2020).

Une revue sur l'éthique décrit les deux fonctions principales. La première informe des affections qui pourraient expliquer les symptômes. La seconde, le triage, indique s'il faut chercher de l'aide, où, comme chez le médecin de famille ou aux urgences, et avec quelle urgence, comme dans quelques jours (Müller et collaborateurs, 2022). Les mêmes auteurs rappellent que les applications mobiles peuvent utiliser des fonctions de l'appareil, comme la localisation et la caméra, et même se connecter à des dispositifs portables.

Pourquoi ce sujet compte pour le raisonnement

Le vérificateur fait, de façon automatique, ce que le clinicien fait lors de la première conversation : il rassemble les plaintes, demande ce qui manque et propose une liste d'hypothèses avec une décision d'urgence. Étudier où il se trompe aide à voir où le raisonnement lui-même peut se tromper. Le texte sur les signes, les symptômes et l'histoire montre comment écouter le récit sans perdre ce qui compte.

Qui l'utilise

Dans un grand système de santé des États-Unis, 26 646 évaluations ont été faites avec un vérificateur en format de chatbot, la plupart par des femmes, d'âge moyen 34,3 ans (Morse et collaborateurs, 2020). Près de la moitié des évaluations, 12 357, ont eu lieu en dehors des heures d'ouverture des cabinets. Les auteurs ont conclu que les utilisateurs représentaient bien la population prise en charge, même s'ils étaient plus jeunes et plus souvent des femmes, et que les recommandations de triage étaient comparables à celles des lignes téléphoniques de triage avec des infirmiers.

Dans le même service, le conseil de triage prenait la forme d'une parmi huit suggestions possibles, regroupées en niveaux d'urgence faible, moyenne et élevée (Morse et collaborateurs, 2020). Les auteurs rappellent qu'on attend de ces applications une réduction des visites inutiles aux cabinets et aux urgences, et citent une étude antérieure où faire une évaluation sur internet réduisait l'urgence des soins que les patients comptaient chercher (Morse et collaborateurs, 2020). Ils signalent aussi qu'on sait encore peu de choses sur les recommandations cumulées d'un vérificateur utilisé par une grande population.

L'heure d'utilisation attire l'attention. Quand près de la moitié des évaluations a lieu en dehors des horaires de consultation (Morse et collaborateurs, 2020), l'application occupe précisément le moment où le patient aurait le moins de personnes à qui parler. C'est à ce moment qu'un conseil d'urgence erroné, dans un sens ou dans l'autre, pèse le plus.

L'étude de référence de 2015

Le travail devenu référence a testé 23 vérificateurs avec 45 vignettes cliniques, saisies dans l'application comme s'il s'agissait de patients (Semigran et collaborateurs, 2015). Le diagnostic correct est apparu en première position dans 34 évaluations sur 100 et parmi les 20 premières suggestions dans 58 sur 100 (Semigran et collaborateurs, 2015).

Le triage était adéquat dans 80 vignettes d'urgence sur 100, dans 55 vignettes sans urgence sur 100 et dans 33 vignettes d'autosoins sur 100 (Semigran et collaborateurs, 2015). La performance de triage variait de 33 à 78 sur 100 entre les applications (Semigran et collaborateurs, 2015), et les auteurs ont conclu qu'il existait des lacunes tant dans le triage que dans le diagnostic. Les applications tendaient à envoyer consulter même quand l'autosoin suffisait, et la moyenne masque la direction de l'erreur. Le texte sur l'intelligence artificielle dans le raisonnement clinique aborde la même prudence avec des outils plus récents.

Cinq ans plus tard

Une équipe a repris l'étude en 2020, avec 22 vérificateurs et les mêmes 45 vignettes, et a comparé les résultats avec des données publiques sur le triage réalisé par des profanes sans aide (Schmieding et collaborateurs, 2022). Les applications de 2020 étaient moins averses au risque que celles de 2015 et ont laissé passer plus de 40 urgences sur 100. Peu ont surpassé les profanes dans la décision sur la nécessité d'une urgence ou dans la décision sur la suffisance de l'autosoin, et aucune n'a surpassé les profanes sur les deux.

Les auteurs ont conclu que le triage moyen des vérificateurs ne s'était pas amélioré en cinq ans et s'était dégradé sur deux usages : le conseil sur le moment où l'urgence est nécessaire et sur le moment où aucune prise en charge n'est nécessaire sur le moment (Schmieding et collaborateurs, 2022). Le texte sur le triage en situation de catastrophe montre comment des règles simples tentent d'équilibrer excès et manque d'urgence dans un autre contexte.

Ce que les revues ont trouvé

Une revue systématique a réuni 29 publications sur les vérificateurs et les services numériques de triage (Chambers et collaborateurs, 2019). Les preuves sur la sécurité des patients étaient faibles, et l'exactitude diagnostique était en général basse. Le triage réalisé par algorithme était plus averse au risque que celui réalisé par des professionnels de santé. Les auteurs ont aussi trouvé très peu de preuves sur la question de savoir si les patients suivaient les conseils reçus. Ce dernier point est central : un conseil correct ne protège le patient que s'il est suivi, et un conseil erroné ne cause de dommage que s'il est suivi. Mesurer l'exactitude sans mesurer ce que l'utilisateur fait ensuite laisse la moitié de la question sans réponse.

Une revue plus récente a trouvé une exactitude du diagnostic principal entre 19 et 37,9 évaluations sur 100 et une exactitude du triage entre 48,8 et 90,1 sur 100 (Wallace et collaborateurs, 2022). Le triage avait tendance à être plus souvent juste que le diagnostic. Les résultats variaient même lorsque les données saisies étaient les mêmes, ce qui montre que la manière d'utiliser l'outil pèse aussi.

Comparaison avec des médecins de famille

Une étude avec 200 vignettes de soins primaires a comparé huit applications avec sept médecins de famille (Gilbert et collaborateurs, 2020). La couverture, c'est-à-dire la capacité à donner une réponse pour la vignette, variait de 99,0 vignettes sur 100 chez Ada à 51,5 chez Babylon (Gilbert et collaborateurs, 2020). Parmi les trois premières suggestions, les médecins avaient en moyenne juste dans 82,1 vignettes sur 100, Ada dans 70,5 et Your.MD dans 23,5 (Gilbert et collaborateurs, 2020). Pour le conseil d'urgence sûr, les médecins atteignaient en moyenne 97,0 sur 100 (Gilbert et collaborateurs, 2020).

Cette étude présente une limite importante : la plupart des auteurs travaillaient chez Ada Health, l'entreprise de l'une des applications évaluées (Gilbert et collaborateurs, 2020). Ce fait n'invalide pas le résultat, mais appelle une lecture attentive. Dans toute comparaison entre produits, il vaut la peine de demander qui a réalisé l'étude.

Étude	Méthode	Résultat principal	Source
Référence de 2015	23 applications, 45 vignettes	Diagnostic exact en premier chez 34 sur 100	Semigran et collaborateurs, 2015
Répétition en 2020	22 applications, mêmes vignettes	Plus de 40 urgences manquées sur 100	Schmieding et collaborateurs, 2022
Soins primaires	8 applications et 7 médecins, 200 vignettes	Les médecins ont obtenu plus de diagnostics exacts parmi les trois premières suggestions	Gilbert et collaborateurs, 2020
Urgences	40 patients pris en charge, avec Ada	Sensibilité proche de celle des médecins ayant vu les mêmes données	Fraser et collaborateurs, 2022
Rhumatologie	600 patients dans un essai randomisé	Exactitude modérée pour une maladie rhumatismale inflammatoire	Knitza et collaborateurs, 2024
Soins primaires et urgences	Prototype testé sur 581 patients	Meilleure exactitude au triage que les patients eux-mêmes	Chan et collaborateurs, 2021

De vrais patients, et non des vignettes

La plupart des études utilisent des patients simulés, et les données sont rares sur la sécurité et l'exactitude lorsque le vérificateur est utilisé par de vrais patients (Chan et collaborateurs, 2021). C'est pourquoi les études menées avec de vrais patients sont les plus instructives pour qui veut savoir ce qui se passe hors du laboratoire.

Aux urgences

Dans un service d'urgences aux États-Unis, 40 des 50 patients invités ont terminé l'évaluation avec Ada et un questionnaire d'utilisabilité (Fraser et collaborateurs, 2022). Trois médecins urgentistes indépendants ont vu les mêmes symptômes saisis par les patients et posé leurs propres diagnostics. La sensibilité d'Ada pour au moins un des diagnostics finaux, en considérant ses cinq premières suggestions, a été de 70 sur 100, proche de la moyenne de 68,9 des médecins en considérant leurs trois premières (Fraser et collaborateurs, 2022).

Certaines évaluations comportaient des données manquantes ou n'ont pas abouti à un diagnostic clair aux urgences, et c'est pourquoi 30 des 40 ont été incluses dans l'analyse du diagnostic et 37 dans celle du triage (Fraser et collaborateurs, 2022). Les médecins indépendants ont aussi suivi un ordre fixe : ils ont d'abord regardé uniquement les symptômes saisis, puis les signes vitaux, avant de refaire leurs trois hypothèses principales. Chez eux, la première hypothèse a coïncidé avec le diagnostic final dans 14 des 30 évaluations analysées, en moyenne (Fraser et collaborateurs, 2022).

Les auteurs ont traité ce résultat comme une preuve préliminaire qu'un vérificateur peut avoir une utilisabilité et une exactitude acceptables pour des patients présentant des affections urgentes variées (Fraser et collaborateurs, 2022). Le petit échantillon appelle à la prudence, et la méthode montre un point utile pour le raisonnement : même des médecins expérimentés, en voyant seulement ce que le patient a saisi, ont trouvé la bonne première hypothèse dans moins de la moitié des cas. L'histoire écrite par le patient est un indice précieux, mais incomplet.

En rhumatologie

Les maladies rhumatismales inflammatoires sont souvent diagnostiquées tardivement en raison de symptômes peu spécifiques et du manque de rhumatologues (Knitza et collaborateurs, 2024). Un essai randomisé mené dans trois centres a inclus 600 nouveaux patients, dont 214 ont reçu un diagnostic de maladie rhumatismale inflammatoire. La première suggestion d'Ada a correctement identifié la présence ou l'absence de cette maladie chez 63 patients sur 100, et la liste des cinq premières chez 58 sur 100 (Knitza et collaborateurs, 2024).

Une étude antérieure portant sur 33 médecins et 132 vignettes a trouvé un scénario différent (Gräf et collaborateurs, 2022). Ada a identifié une maladie rhumatismale inflammatoire plus souvent que les médecins, 70 contre 54 sur 100, et a trouvé le diagnostic principal dans 54 sur 100 contre 32 sur 100. L'expérience professionnelle n'était pas associée à l'exactitude. Les auteurs eux-mêmes rappellent que les médecins ne disposaient que de l'histoire de base, sans examen physique ni examens complémentaires.

Un prototype canadien

Un prototype de vérificateur a été testé sur 281 patients des urgences et 300 patients de cliniques de médecine de famille au Canada (Chan et collaborateurs, 2021). La sensibilité pour les urgences était de 10 sur 10 consultations. Pour les urgences relatives, elle était de 73 sur 81 chez les patients de l'hôpital et de 34 sur 35 chez les patients des cliniques. Le prototype a mieux réussi le triage que les patients eux-mêmes, 73 contre 58 sur 100 (Chan et collaborateurs, 2021).

Ce que les patients font de la réponse

Une enquête auprès de 329 utilisateurs du vérificateur Isabel a montré les motifs d'usage les plus fréquents (Meyer et collaborateurs, 2020). Le principal était de mieux comprendre la cause des symptômes, cité par 232 des 304 répondants, suivi de la décision de consulter ou non et où. La plupart ont rapporté avoir reçu une information utile, et la moitié ont rapporté des effets positifs sur la santé.

Parmi les répondants, 103 sur 213 ont discuté du résultat avec le médecin, et dans ce groupe, il était plus fréquent de sentir l'intérêt du professionnel pour ce que l'application montrait que son désintérêt (Meyer et collaborateurs, 2020). Les patients ayant déjà subi une erreur diagnostique ont davantage utilisé le vérificateur pour décider où consulter. Les auteurs ont conclu que, malgré les doutes sur l'exactitude, de nombreux utilisateurs ont jugé l'outil utile pour le diagnostic.

Le patient qui arrive avec la liste prête

Cette donnée a une conséquence pratique. Le patient qui arrive avec une liste d'hypothèses de l'application apporte une information sur ce qui l'inquiète, et cette inquiétude peut orienter la conversation. Le texte sur l'incertitude diagnostique montre comment accueillir le doute du patient sans abandonner son propre raisonnement, et le texte sur le surdiagnostic rappelle le risque d'investiguer à l'excès.

Questions éthiques

Une revue sur les défis éthiques et sociaux de ces applications a trouvé des débats controversés dans la littérature et l'absence de perspective juridique spécifique et de données empiriques (Müller et collaborateurs, 2022). Les auteurs rappellent que le téléphone reste toujours à portée de main, toujours allumé, permet un usage instantané et conserve souvent de nombreuses données personnelles, y compris de santé. Ces caractéristiques augmentent la portée de l'outil et aussi la vigilance nécessaire en matière de vie privée.

La même revue souligne que les applications promettent des améliorations à plusieurs niveaux : l'utilisateur reçoit une information sur les symptômes et une orientation pour circuler dans le système de santé (Müller et collaborateurs, 2022). Les auteurs plaident pour une recherche empirique auprès des personnes concernées, comme les utilisateurs, les médecins de famille et les spécialistes du système de santé, afin de comprendre comment l'outil change la relation entre le patient et le service.

Les limites des études elles-mêmes

Une réanalyse des données publiques de deux études à vignettes a appliqué des métriques de la théorie des tests (Kopka et collaborateurs, 2023). Lorsque le triage a été ajusté selon la difficulté de chaque vignette, la plupart des applications ont changé de position dans le classement. Les résultats publiés avaient tendance à surestimer la capacité des vérificateurs, car ils évaluent souvent de façon sélective les cas les plus faciles.

Les auteurs ont aussi trouvé de nombreuses vignettes avec une corrélation très faible, voire négative, avec l'ensemble, ce qui suggère des items de faible qualité (Kopka et collaborateurs, 2023). La proposition est de contrôler la difficulté des vignettes que chaque application a pu ou non évaluer. Pour qui lit ces études, la leçon est de demander quels cas ont été pris en compte.

Les questions ci-dessous résument ce que les études citées dans ce texte enseignent sur la lecture de ces comparaisons :

• Les cas étaient-ils des vignettes ou des patients réellement pris en charge (Chan et collaborateurs, 2021) ?
• Le résultat a-t-il été ajusté selon la difficulté des vignettes (Kopka et collaborateurs, 2023) ?
• Combien de vignettes l'application a-t-elle laissées sans réponse (Gilbert et collaborateurs, 2020) ?
• Les auteurs ont-ils un lien avec l'un des produits testés (Gilbert et collaborateurs, 2020) ?
• Les médecins comparés disposaient-ils d'un examen physique ou seulement de l'histoire (Gräf et collaborateurs, 2022) ?
• Le triage a-t-il été mesuré dans les deux sens, excès et défaut d'urgence (Schmieding et collaborateurs, 2022) ?

Chaque question correspond à un biais qui peut gonfler ou réduire la performance. Une application qui laisse la moitié des vignettes sans réponse peut sembler très précise sur celles auxquelles elle a répondu. Un médecin sans examen physique se retrouve artificiellement désavantagé. Et un triage qui envoie tout le monde aux urgences trouve toutes les urgences, mais échoue avec ceux qui avaient seulement besoin de repos.

Et les chatbots d'IA générative

Une étude portant sur 30 vignettes créées par des médecins généralistes a testé ChatGPT-3 sur des plaintes courantes (Hirosawa et collaborateurs, 2023). Le diagnostic correct figurait dans la liste des dix hypothèses du chatbot pour 28 des 30 vignettes. Les médecins faisaient encore mieux dans la liste des cinq hypothèses, 98,3 contre 83,3 sur 100, et sur le diagnostic principal, 93,3 contre 53,3 sur 100 (Hirosawa et collaborateurs, 2023). Le texte sur la prise de décision clinique aide à peser une telle liste par ce qu'elle change dans la conduite, et non par sa taille ou sa bonne rédaction.

Retour à l'étudiante

L'étudiante de la scène a reçu le conseil de consulter le jour même. D'après les études ci-dessus, le triage des applications est souvent plus juste que le diagnostic (Wallace et collaborateurs, 2022), mais la version de 2020 a laissé passer beaucoup d'urgences (Schmieding et collaborateurs, 2022). L'amélioration avec l'antalgique est un indice que l'application peut ne pas peser. Une probabilité pré-test bien réfléchie, avec une douleur qui a migré vers la droite chez une personne jeune, oriente vers la décision d'y aller. Le texte sur la télémédecine et le raisonnement sans examen présentiel discute de limites semblables quand l'examen physique manque.

Comment NEXO aide à entraîner ce raisonnement

Dans NEXO, le cas du jour est fictif, avec une présentation clinique réelle et jusqu'à six indices progressifs, et vous proposez le diagnostic en cherchant le code dans la CIM-10.

Les limites d'usage du jeu sont décrites sur la page Économie de NEXO. Si vous faites de la recherche sur l'enseignement du raisonnement clinique, la page pour les Researcher explique comment prendre contact. Les professionnels qui écrivent ou révisent des cas trouvent des informations dans Curator et dans Creators, et les institutions peuvent découvrir la proposition sur la page pour les partenariats. S'entraîner avec le diagnostic différentiel et les indices et savoir trouver le bon code dans la CIM-10 complètent cet entraînement.

Questions fréquentes

Les vérificateurs de symptômes trouvent-ils le diagnostic ?

En 2015, le diagnostic correct apparaissait en premier lieu dans 34 évaluations sur 100 et parmi les 20 premiers dans 58 sur 100 (Semigran et collaborateurs, 2015).

Le triage des applications est-il meilleur que le diagnostic ?

La justesse du triage est souvent supérieure à celle du diagnostic principal (Wallace et collaborateurs, 2022).

Les applications se sont-elles améliorées avec le temps ?

Une répétition en 2020 a trouvé un triage moyen identique à celui de 2015 et moins bon dans deux usages (Schmieding et collaborateurs, 2022).

Les patients pris en charge aux urgences peuvent-ils utiliser ces outils ?

Aux urgences, 40 patients invités sur 50 ont terminé l'évaluation et le questionnaire d'utilisabilité (Fraser et collaborateurs, 2022).

Comment lire une étude qui compare des applications ?

Il vaut la peine de vérifier qui a fait l'étude et si le résultat a été ajusté selon la difficulté des vignettes (Kopka et collaborateurs, 2023).

Messages à retenir

• Les vérificateurs de symptômes suggèrent des causes et un niveau d'urgence à partir de ce que l'utilisateur saisit.
• Le diagnostic correct en premier lieu apparaissait dans environ un tiers des évaluations en 2015.
• Le triage est souvent plus juste que le diagnostic, mais les applications de 2020 ont manqué beaucoup d'urgences.
• Les médecins de famille faisaient mieux que les applications parmi les trois premières hypothèses.
• Avec des patients réellement pris en charge, certaines applications ont eu une performance proche de celle des médecins avec les mêmes données.
• Les études avec vignettes peuvent surestimer la justesse quand les applications ne résolvent que les cas faciles.
• Le patient qui arrive avec la liste de l'application apporte une inquiétude qu'il vaut la peine d'écouter.

Vous voulez pratiquer le raisonnement avec des indices progressifs ? Jouez le cas du jour.

Références

1. Chambers D, Cantrell AJ, Johnson M, et al. Digital and online symptom checkers and health assessment/triage services for urgent health problems: systematic review. BMJ Open. 2019. PMID 31375610.
2. Chan F, Lai S, Pieterman M, et al. Performance of a new symptom checker in patient triage: Canadian cohort study. PLoS One. 2021. PMID 34852016.
3. Fraser HSF, Cohan G, Koehler C, et al. Evaluation of Diagnostic and Triage Accuracy and Usability of a Symptom Checker in an Emergency Department: Observational Study. JMIR Mhealth Uhealth. 2022. PMID 36121688.
4. Gilbert S, Mehl A, et al. How accurate are digital symptom assessment apps for suggesting conditions and urgency advice? A clinical vignettes comparison to GPs. BMJ Open. 2020. PMID 33328258.
5. Gräf M, Knitza J, Leipe J, et al. Comparison of physician and artificial intelligence-based symptom checker diagnostic accuracy. Rheumatol Int. 2022. PMID 36087130.
6. Hirosawa T, Harada Y, Yokose M, et al. Diagnostic Accuracy of Differential-Diagnosis Lists Generated by Generative Pretrained Transformer 3 Chatbot for Clinical Vignettes with Common Chief Complaints: A Pilot Study. Int J Environ Res Public Health. 2023. PMID 36834073.
7. Knitza J, Tascilar K, Fuchs F, et al. Diagnostic Accuracy of a Mobile AI-Based Symptom Checker and a Web-Based Self-Referral Tool in Rheumatology: Multicenter Randomized Controlled Trial. J Med Internet Res. 2024. PMID 39042425.
8. Kopka M, Feufel MA, Berner ES, et al. How suitable are clinical vignettes for the evaluation of symptom checker apps? A test theoretical perspective. Digit Health. 2023. PMID 37614591.
9. Meyer AND, Giardina TD, Spitzmueller C, et al. Patient Perspectives on the Usefulness of an Artificial Intelligence-Assisted Symptom Checker: Cross-Sectional Survey Study. J Med Internet Res. 2020. PMID 32012052.
10. Morse KE, Ostberg NP, Jones VG, et al. Use Characteristics and Triage Acuity of a Digital Symptom Checker in a Large Integrated Health System: Population-Based Descriptive Study. J Med Internet Res. 2020. PMID 33170799.
11. Müller R, Klemmt M, Ehni HJ, et al. Ethical, legal, and social aspects of symptom checker applications: a scoping review. Med Health Care Philos. 2022. PMID 36181620.
12. Schmieding ML, Kopka M, Schmidt K, et al. Triage Accuracy of Symptom Checker Apps: 5-Year Follow-up Evaluation. J Med Internet Res. 2022. PMID 35536633.
13. Semigran HL, Linder JA, Gidengil C, et al. Evaluation of symptom checkers for self diagnosis and triage: audit study. BMJ. 2015. PMID 26157077.
14. Wallace W, Chan C, Chidambaram S, et al. The diagnostic and triage accuracy of digital and online symptom checker tools: a systematic review. NPJ Digit Med. 2022. PMID 35977992.