Calibration de la confiance diagnostique

Pas de tir à l’arc dans un parc arboré

Il y a un moment dans tout cas clinique où vous décidez que vous en savez assez. Parfois cette sensation arrive tôt et elle est juste. D'autres fois elle arrive tôt et elle est fausse, ou elle tarde tellement que vous demandez des examens dont vous n'aviez pas besoin. La question de fond est la même : votre confiance suit-elle votre justesse ?

NEXO est un jeu quotidien de diagnostic médical : un cas clinique par jour, six indices progressifs et un retour de proximité dans la CIM-10 sur cinq niveaux.

Ce guide explique ce qu'est la calibration diagnostique, ce que les études trouvent sur la confiance, le temps et la quantité d'information, et comment utiliser le nombre de données dont vous avez eu besoin pour répondre comme un portrait de votre doute.

Points principaux

  • La calibration est la distance entre le degré de confiance que vous avez et le degré de justesse de vos réponses.
  • Répondre vite n'est pas synonyme de se tromper : dans plusieurs études, la justesse va de pair avec la réponse rapide.
  • Chercher les bonnes données pèse plus que chercher beaucoup de données.
  • La sensation de sécurité peut durer plus longtemps que la connaissance, et cela rend l'étudiant trop confiant avec le temps.
  • Noter à quel moment vous avez répondu et vérifier le résultat aide à voir son propre schéma.

Sommaire

Qu'est-ce que la calibration diagnostique

Confiance et justesse sont des mesures différentes

La calibration est le degré auquel votre confiance dans un diagnostic correspond à la chance réelle qu'il soit juste. Celui qui dit être très sûr et qui a peu de réponses justes est trop confiant ; celui qui a beaucoup de réponses justes et qui doute de tout est trop peu confiant. Les deux erreurs pèsent : la première ferme l'investigation tôt, la seconde consomme du temps et des examens. Le guide sur l'incertitude diagnostique montre pourquoi ces deux mesures se séparent autant.

Excès et manque de confiance chez les étudiants

Dans un examen de chirurgie générale avec des étudiants sur le point d'être diplômés en Argentine, environ 12 % ont montré un excès de confiance significatif par rapport à leur propre justesse (Borracci et Arribalzaga, 2018). Le manque de confiance était moins courant, chez 8,3 % des étudiants, et apparaissait davantage chez ceux qui avaient la meilleure performance (Borracci et Arribalzaga, 2018). Les meilleurs étudiants ont aussi montré moins d'excès de confiance, ce qui suggère que connaissance et calibration progressent ensemble (Borracci et Arribalzaga, 2018).

Temps, rapidité et justesse

Ceux qui ont juste répondent souvent plus vite

Une idée courante est que l'erreur diagnostique vient de la précipitation. Dans une étude avec des jeunes diplômés canadiens juste après l'examen de licence, qui ont diagnostiqué une série de cas écrits, la corrélation entre temps de réponse et justesse était de -0,54 : plus la réponse était rapide, plus la justesse était grande (Sherbino et al., 2012). La relation s'est maintenue lorsque les auteurs ont contrôlé la connaissance mesurée à l'examen de licence (Sherbino et al., 2012).

Cela ne veut pas dire que répondre vite fait avoir juste. Cela veut dire que celui qui connaît bien la maladie la reconnaît tôt. La rapidité est une conséquence de la connaissance, et c'est pourquoi une réponse rapide peut être bien calibrée.

La confiance induite a peu changé la justesse

Dans une expérience avec des résidents de médecine interne, un groupe a été amené à croire que les cas étaient faciles et l'autre, qu'ils étaient difficiles (Al-Maghrabi et al., 2024). Le premier groupe est devenu plus confiant, avec une moyenne de 0,75 contre 0,61 sur une échelle allant jusqu'à 1, mais le temps passé et la justesse diagnostique ont peu différé entre les groupes (Al-Maghrabi et al., 2024). Les auteurs suggèrent d'étudier l'excès de confiance davantage comme un trait personnel que comme quelque chose qui change selon la situation (Al-Maghrabi et al., 2024).

Niveau à bulle en forme de cube, avec un liquide vert et des bulles d'air dans les tubes.
Le niveau à bulle montre quand la surface est droite ; la calibration montre quand la confiance est alignée sur la justesse. Crédit : aTarom, domaine public, via Wikimedia Commons (page du fichier).

Combien de données vous faut-il

Les bonnes données valent plus que beaucoup de données

Dans une étude avec des médecins de famille face à des problèmes diagnostiques difficiles, les participants pouvaient demander plus d'informations sur le patient avant de répondre (Kostopoulou et al., 2008). Demander des indices critiques, ceux qui séparent les diagnostics différentiels pertinents, a prédit la justesse dans la plupart des scénarios, et les résidents ont demandé plus d'informations que les médecins expérimentés (Kostopoulou et al., 2008). L'expérience, dans la même étude, a peu pesé sur la justesse (Kostopoulou et al., 2008).

La leçon pour la calibration est directe. La question utile est "la donnée que j'ai sépare-t-elle mes hypothèses ?", et non "ai-je déjà assez de données ?". Quand la réponse est oui, la confiance a une base. Quand c'est non, une donnée bien choisie de plus vaut mieux que la sensation de sécurité.

Répondre tôt et répondre tard

Schéma Ce que cela indique souvent Que faire
Répond tôt et juste Maladie connue, reconnaissance rapide Maintenir ; vérifier si l'explication correspond à votre raisonnement
Répond tôt et se trompe Confiance en avance sur le savoir Demander quelle donnée séparerait les deux hypothèses avant de répondre
Répond tard et juste Doute plus grand que nécessaire ou cas difficile Revoir à quel moment la réponse était déjà claire
Répond tard et se trompe Lacune de connaissance sur la maladie Revenir au contenu avant de s'entraîner sur d'autres cas

Pourquoi la calibration est difficile à améliorer

La sécurité dure plus longtemps que le savoir

Dans une étude avec des étudiants apprenant à lire des radiographies de cheville, chaque réponse était accompagnée du degré de certitude, "avec certitude" ou "probablement", et d'un retour immédiat (Pusic et al., 2015). Deux semaines plus tard, le taux de bonnes réponses moyen est passé de 59 % à 53 %, tandis que la fréquence des réponses "avec certitude" est restée stable, ce qui a laissé les étudiants relativement trop confiants (Pusic et al., 2015). Les auteurs concluent que la capacité à surveiller sa propre performance doit être mesurée à part, car elle n'accompagne pas la compétence clinique (Pusic et al., 2015).

Le retour aide, mais avec des limites

Dans un essai avec des internes de médecine de famille, voir le diagnostic correct après chaque cas difficile n'a guère amélioré la calibration par rapport au groupe sans retour (Kuhn et al., 2022). Sur les cas réussis, le groupe avec retour a même fini moins bien calibré, et les auteurs suggèrent qu'après avoir vu leurs propres erreurs, les internes ont baissé leur confiance même lorsqu'ils avaient raison (Kuhn et al., 2022).

Ces résultats montrent que calibrer ne consiste pas seulement à recevoir la réponse. C'est observer le schéma sur de nombreux cas : dans quelles situations vous avez souvent raison quand vous vous sentez sûr et dans lesquelles vous vous trompez souvent. Le guide sur suivre votre progression propose une façon de tenir ce registre.

Collection de fils à plomb en métal suspendus par des fils dans une armoire.
Chaque fil à plomb indique la verticale à sa manière ; la calibration, c'est savoir de combien votre aiguille interne dévie. Crédit : Ejtack, CC0 1.0 (licence), via Wikimedia Commons (page du fichier).

Comment entraîner la calibration

Avant de répondre

  1. Donnez votre confiance sur un nombre de 0 à 10 avant de voir la réponse.
  2. Nommez la seconde hypothèse et la donnée qui l'écarterait.
  3. Demandez si la donnée manquante change la décision ; si elle ne change rien, répondez.

Signes que vous avez répondu trop tôt

  • Vous avez trouvé la zone, mais pas la maladie, et vous ne savez pas dire ce qui les sépare.
  • Votre hypothèse explique la plainte principale, mais laisse de côté un signe de l'examen physique.
  • Votre confiance était élevée et l'erreur se situe dans un autre chapitre de la CIM-10.

Après le résultat

Notez la confiance et le résultat côte à côte. Après quelques semaines, séparez les cas où vous étiez très sûr et regardez combien vous en avez réussi. C'est le portrait de votre calibration, et il change à mesure que le savoir grandit.

L'indice auquel vous répondez dans NEXO

Dans NEXO, chaque cas s'ouvre en jusqu'à six indices, et le joueur choisit quand risquer le diagnostic. Le score de la bonne réponse baisse à chaque indice révélé, ce qui rend visible l'équilibre entre répondre tôt et attendre une donnée de plus. Chaque hypothèse montre la proximité dans la CIM-10 en cinq niveaux, de CIM exact à un autre chapitre.

Une lecture possible, qui est notre inférence et non une mesure du jeu, consiste à traiter l'indice auquel vous répondez comme un portrait de votre confiance dans ce cas. Répondre au premier indice suggère la sécurité ; attendre jusqu'au dernier suggère le doute. Croiser cet indice avec le résultat montre où votre sécurité avait une base. Sur l'écran d'accueil, la distribution des bonnes réponses par indice rassemble ce schéma au fil des cas.

Si vous faites de la recherche sur la calibration diagnostique et souhaitez étudier le sujet avec NEXO, découvrez NEXO Researcher. Pour amener NEXO à la faculté, à la ligue ou au residency, il y a NEXO Closer. Les médecins qui révisent les cas de leur spécialité participent via NEXO Curator, et ceux qui créent du contenu de santé sur les réseaux peuvent participer via NEXO Creators.

Questions fréquentes

Qu'est-ce que la calibration diagnostique ?

C'est la correspondance entre la confiance dans un diagnostic et la chance réelle qu'il soit juste. Une personne bien calibrée a souvent raison quand elle se sent sûre et doute quand elle a une raison de douter.

Répondre vite augmente-t-il l'erreur ?

Les études indiquent que pas toujours. Dans une étude menée auprès de jeunes diplômés, les réponses les plus rapides étaient les plus justes, même en contrôlant les connaissances (Sherbino et al., 2012).

Voir la bonne réponse améliore-t-il la calibration ?

Cela peut aider un peu. Chez des internes face à des cas difficiles, voir le diagnostic correct après chaque cas a peu changé la calibration (Kuhn et al., 2022). Observer la tendance sur de nombreux cas a tendance à être plus utile.

L'excès de confiance est-il courant chez les étudiants ?

Lors d'un examen avec des finissants, environ 12 % ont montré un excès de confiance significatif, et les meilleurs étudiants avaient moins d'excès (Borracci et Arribalzaga, 2018).

Comment NEXO montre-t-il ma confiance ?

NEXO enregistre sur quel indice vous avez trouvé chaque cas et rassemble cette tendance dans la distribution des réussites par indice de l'écran d'accueil. Lire cet indice comme un signal de confiance est une inférence utile pour l'étude. Pour découvrir le jeu, lisez qu'est-ce que NEXO.

Liste de contrôle de la calibration

  1. Donnez une note de confiance avant chaque réponse.
  2. Nommez la deuxième hypothèse et la donnée qui l'écarterait.
  3. Cherchez la donnée qui sépare, et non n'importe quelle donnée.
  4. Notez confiance et résultat côte à côte.
  5. Revoyez les cas de forte confiance chaque semaine.
  6. Méfiez-vous de l'assurance ancienne sur des thèmes que vous ne révisez pas depuis longtemps.
  7. Regardez la tendance, et non un cas isolé.
  8. Revenez au contenu quand vous vous trompez avec une forte confiance.

Vous voulez voir sur quel indice vous réussissez souvent ? Jouez le cas du jour sur NEXO.

Références

  1. Borracci RA, Arribalzaga EB. The Incidence of Overconfidence and Underconfidence Effects in Medical Student Examinations. J Surg Educ. 2018. https://pubmed.ncbi.nlm.nih.gov/29397355/
  2. Sherbino J, Dore KL, Wood TJ, et al. The relationship between response time and diagnostic accuracy. Acad Med. 2012. https://pubmed.ncbi.nlm.nih.gov/22534592/
  3. Al-Maghrabi M, Mamede S, Schmidt HG, et al. Overconfidence, Time-on-Task, and Medical Errors: Is There a Relationship? Adv Med Educ Pract. 2024. https://pubmed.ncbi.nlm.nih.gov/38410282/
  4. Kostopoulou O, Oudhoff J, Nath R, et al. Predictors of diagnostic accuracy and safe management in difficult diagnostic problems in family medicine. Med Decis Making. 2008. https://pubmed.ncbi.nlm.nih.gov/18556634/
  5. Pusic MV, Chiaramonte R, Gladding S, Andrews JS, Pecaric MR, Boutis K. Accuracy of self-monitoring during learning of radiograph interpretation. Med Educ. 2015. https://pubmed.ncbi.nlm.nih.gov/26152495/
  6. Kuhn J, van den Berg P, Mamede S, Zwaan L, Bindels P, van Gog T. Improving medical residents' self-assessment of their diagnostic accuracy: does feedback help? Adv Health Sci Educ Theory Pract. 2022. https://pubmed.ncbi.nlm.nih.gov/34739632/

Retour au blog