Biais d'automatisation : trop faire confiance à la machine

Il est trois heures du matin dans un service d'urgence agité. Un interne de deuxième année examine un scanner cérébral tandis que le système d'aide signale en rouge une zone suspecte dans le lobe frontal. Il agrandit l'image, approuve le marquage et passe au patient suivant. Deux heures plus tard, la radiologue de garde regarde le même examen et ne trouve rien dans la zone marquée, mais voit un petit saignement de l'autre côté, que le système n'a pas signalé. La scène est fictive et a été écrite pour l'enseignement.

Ce texte traite du biais d'automatisation, la tendance à faire davantage confiance à la sortie d'un système automatisé qu'aux signaux cliniques eux-mêmes. L'objectif est de regarder ce que les études montrent sur la prescription électronique, l'imagerie, la pathologie et l'endoscopie, et ce que chaque résultat enseigne sur le raisonnement. Si vous jouez le cas du jour dans NEXO, vous reconnaîtrez le défi : chaque nouvel indice vous demande de peser l'information, et non de l'accepter simplement parce qu'elle est apparue à l'écran.

Points principaux

• Le biais d'automatisation est la tendance à faire confiance à la sortie d'outils automatiques plus qu'à son propre jugement ou à l'avis d'autres personnes.
• Il produit deux types d'erreur : ne pas agir parce que le système n'a pas alerté et suivre une orientation erronée du système.
• En pathologie, la même aide qui avait amélioré la justesse quand la suggestion était correcte a réduit la justesse quand elle était erronée.
• Des lecteurs de tous les niveaux d'expérience ont été influencés par des résultats faux positifs de l'IA en angio-IRM.
• Les étudiants aidés par un chatbot se sont améliorés en moyenne, mais n'ont pas bien distingué l'influence utile de l'influence nuisible.
• Des revues récentes classent le biais d'automatisation parmi les thèmes les plus récurrents dans les études sur l'IA générative.

Qu'est-ce que le biais d'automatisation

Le concept vient de l'aviation. Des études des années 1980 et 1990 et des analyses de récits d'incidents ont montré que les pilotes cessaient souvent de surveiller des indicateurs de vol importants ou de déconnecter le pilote automatique lorsqu'il échouait (Sujan et collaborateurs, 2019). Le phénomène a reçu le nom de biais d'automatisation, ou complaisance induite par l'automatisation, et c'est un exemple de décision inadaptée par confiance excessive dans la machine.

En médecine, la définition est similaire. Le biais d'automatisation est la tendance humaine à s'appuyer sur les sorties d'outils automatisés plutôt que sur des signaux non automatisés, comme le jugement personnel ou l'avis d'autres personnes (Bittencourt, 2025). Une revue sur la radiologie résume l'idée en une ligne : c'est la tendance systématique à accepter les suggestions de l'IA même lorsqu'elles sont erronées (Kocak et Cuocolo, 2026).

Biais d'automatisation et complaisance

Le même auteur sépare deux concepts proches. La complaisance est une confiance indue qui conduit à moins de vigilance et à une acceptation sans critique de la sortie du système (Bittencourt, 2025). En pratique, les deux vont ensemble. Qui fait trop confiance vérifie moins, et qui vérifie moins tend à accepter ce qui apparaît.

En endoscopie digestive, le biais d'automatisation a été décrit comme la propension à se déconnecter cognitivement de tâches confiées à une technologie externe, avec perte de conscience de la situation (Campion et collaborateurs, 2024). L'expression aide à comprendre la scène de garde. L'interne a regardé la zone marquée avec attention, mais a cessé de parcourir le reste de l'examen avec la même attention.

Omission et commission

Le biais d'automatisation peut générer des erreurs d'omission, quand la personne cesse d'accomplir une action nécessaire parce que le système n'a pas prévenu, et des erreurs de commission, quand la personne suit une orientation inadaptée du système (Sujan et collaborateurs, 2019). La scène de garde présente les deux. Accepter le marquage erroné dans le lobe frontal est une commission. Laisser passer le saignement que le système n'a pas signalé est une omission.

Cette division est utile au raisonnement parce que chaque erreur appelle une défense différente. Contre la commission, la défense consiste à vérifier la suggestion avant de l'accepter. Contre l'omission, la défense consiste à maintenir une recherche complète même quand le système reste silencieux. Le texte sur l'incertitude diagnostique montre comment tolérer le doute sans arrêter l'investigation trop tôt.

Le côté opposé : l'aversion à l'algorithme

Il existe aussi l'erreur inverse. L'aversion à l'algorithme consiste à ignorer la sortie de l'IA par méfiance (Kocak et Cuocolo, 2026). En endoscopie, quand l'utilisateur voit l'algorithme se tromper, il est bien plus enclin à écarter les indications suivantes du même système (Campion et collaborateurs, 2024). Entre un extrême et l'autre se trouve la confiance calibrée, que les auteurs défendent : savoir quand l'outil a l'habitude de tomber juste et quand il a l'habitude d'échouer.

Ce que les études montrent en prescription et en imagerie

Les preuves les plus directes viennent d'expériences où la qualité de la suggestion est contrôlée par les chercheurs. On peut ainsi voir ce qui arrive au professionnel quand la machine tombe juste et quand elle se trompe, ce qu'on parvient rarement à observer dans la routine.

Prescription électronique

Une expérience sur la prescription électronique a fait varier la qualité de l'aide à la décision, avec une aide correcte, incorrecte ou absente, et la complexité de la tâche, avec et sans interruption (Lyell et collaborateurs, 2017). Comparée aux scénarios sans aide, l'aide correcte a réduit les erreurs d'omission, c'est-à-dire les échecs à percevoir des erreurs de prescription. L'aide incorrecte a augmenté ces erreurs. Les participants ont aussi commis des erreurs de commission, en acceptant des alertes faussement positives, à tous les niveaux de complexité testés.

La conception de l'étude montre le point central du problème. Le même outil qui aide quand il a raison gêne quand il a tort, et celui qui l'utilise a du mal à percevoir la différence au moment de la décision. Le texte sur la prise de décision clinique discute comment peser une information nouvelle par ce qu'elle change dans la conduite.

Angio-IRM et anévrismes cérébraux

Une étude en angio-IRM cérébrale a constitué un ensemble d'examens dont la moitié présentait au moins un résultat faussement positif de l'IA (Kim et collaborateurs, 2025). Les résultats faussement positifs ont augmenté de façon significative la suspicion d'anévrisme chez les lecteurs. Les moins expérimentés ont recommandé des examens de suivi plus intensifs lorsqu'ils voyaient un faux positif de l'IA, avec p = 0,005 (Kim et collaborateurs, 2025).

La même étude a mesuré le temps de lecture. Avec l'aide de l'IA, les lecteurs inexpérimentés ont lu en moyenne en 164,1 secondes contre 228,2 sans aide, et les très expérimentés en 117,9 contre 153,5 (Kim et collaborateurs, 2025). Le gain de vitesse est apparu à tous les niveaux. Les auteurs ont conclu que les lecteurs en radiologie sont sensibles au biais d'automatisation face à des résultats faussement positifs de l'IA.

Pour le raisonnement, il vaut la peine de rappeler un détail que l'article lui-même souligne : dans les dépistages comportant beaucoup d'examens normaux, même des tests très précis produisent plus de faux positifs que de vrais positifs, ce qu'on appelle le paradoxe du faux positif (Kim et collaborateurs, 2025). Le texte sur le taux de base dans le diagnostic explique pourquoi cela se produit.

Dépistage mammographique

Une simulation sur une grande base de mammographies de Victoria, en Australie, a testé cinq façons d'intégrer l'IA au dépistage et analysé l'effet de l'interaction entre humains et machine (Frazer et collaborateurs, 2024). Utilisée comme second lecteur ou comme filtre de haute confiance, l'IA a amélioré les résultats et réduit le volume de lectures humaines. Le biais d'automatisation a dégradé la performance dans les dispositifs à plusieurs lecteurs et amélioré la performance des lecteurs uniques (Frazer et collaborateurs, 2024). L'effet dépend de la façon dont l'outil entre dans le flux de travail.

Ce que les études montrent en pathologie, en endoscopie et en radiothérapie

Les constats en imagerie se répètent dans d'autres domaines qui dépendent de la reconnaissance visuelle. Dans chacun, la question est la même : qu'arrive-t-il à la performance du professionnel quand la suggestion est erronée ?

Pathologie hépatique

Un assistant d'apprentissage profond a été testé pour la classification du cancer du foie par 11 pathologistes de niveaux d'expérience différents (Kiani et collaborateurs, 2020). L'assistant seul a obtenu de bons résultats sur les lames de validation et de test. Pourtant, l'usage de l'outil n'a pas changé l'exactitude moyenne du groupe, et n'a amélioré les résultats que d'un sous-groupe de neuf pathologistes aux niveaux d'expérience bien définis.

La donnée la plus importante est venue de l'analyse par cas. Quand la prédiction du modèle était correcte, l'aide a beaucoup augmenté la réussite, avec un rapport de cotes de 4,289 (Kiani et collaborateurs, 2020). Quand la prédiction était erronée, l'aide a réduit la réussite, avec un rapport de cotes de 0,253, et les deux effets sont apparus à tous les niveaux d'expérience et de difficulté (Kiani et collaborateurs, 2020). Les auteurs demandent que les risques de l'assistance soient pris en compte dès la conception et le test de ces outils.

Endoscopie digestive

En coloscopie, les systèmes de détection assistée par ordinateur ont été privilégiés pour améliorer le taux de détection des adénomes (Campion et collaborateurs, 2024). Les premiers résultats ont été encourageants, mais certaines études en vie réelle ont montré des effets moindres ou inexistants, ainsi que davantage de retraits inutiles de polypes sans potentiel malin. Les auteurs suggèrent que des facteurs de l'interaction entre humain et IA aident à expliquer l'écart entre expérimentation et vie réelle.

Le même travail rappelle que ces systèmes déclenchent aussi de fausses alertes, en moyenne 2,4 par minute de retrait de l'appareil, et que l'effet de ces répétitions sur la fatigue de l'endoscopiste doit encore être étudié (Campion et collaborateurs, 2024). L'outil censé soulager l'attention finit par entrer en concurrence avec elle.

Radiothérapie de la prostate

En radiothérapie, une étude a comparé la délinéation manuelle des structures de la prostate à la délinéation faite par l'IA puis ajustée par des médecins (Arjmandi et collaborateurs, 2026). L'aide de l'IA a amélioré la concordance entre observateurs et au sein d'un même observateur. Malgré cela, la délinéation ajustée n'a pas toujours surpassé la manuelle, et les auteurs évoquent le biais d'automatisation ou l'acceptation sélective comme influence possible sur les ajustements. La conclusion plaide pour une assurance qualité structurée et une supervision humaine.

Domaine	Conception	Constat sur le biais	Source
Prescription électronique	Expérience avec 120 participants	Un appui incorrect a augmenté les erreurs d'omission ; les fausses alertes ont été acceptées	Lyell et collaborateurs, 2017
Pathologie hépatique	11 pathologistes avec et sans assistant	Une suggestion erronée a réduit la réussite à tous les niveaux	Kiani et collaborateurs, 2020
Angio-IRM cérébrale	La moitié des examens avec faux positif	Plus de suspicion d'anévrisme et lecture plus rapide	Kim et collaborateurs, 2025
Mammographie	Simulation avec cinq configurations	Le biais a aggravé le cas de plusieurs lecteurs et aidé les lecteurs uniques	Frazer et collaborateurs, 2024
Radiothérapie de la prostate	Délinéation manuelle et ajustée	L'ajustement n'a pas toujours surpassé le manuel	Arjmandi et collaborateurs, 2026
Enseignement médical	185 étudiants avec un chatbot	Une influence utile et une influence néfaste ont paru égales aux étudiants	Hayden et collaborateurs, 2026

Le biais d'automatisation dans la formation médicale

Les étudiants d'aujourd'hui travailleront avec l'IA tout au long de leur carrière, et la façon dont ils apprennent à l'utiliser compte donc. Une étude pilote menée avec des étudiants de deuxième année a mis en place un exercice en deux parties : un cours sur les capacités et les limites de l'IA et un cas clinique où les étudiants ordonnaient le diagnostic différentiel avant et après avoir consulté un chatbot (Hayden et collaborateurs, 2026).

Le cours portait sur les hallucinations, le biais, la confidentialité et l'absence de raisonnement clinique véritable, et le cas se terminait par un débat guidé par les enseignants (Hayden et collaborateurs, 2026). Chez 185 étudiants, l'usage de l'IA a été associé à davantage de diagnostics corrects, avec le plus grand bénéfice chez ceux qui avaient le moins bien réussi avant la consultation.

Ce que les étudiants ont perçu

La découverte la plus intéressante se situe dans la perception. Les 65 élèves qui se sont améliorés et les 26 qui ont régressé après avoir utilisé l'IA lui ont attribué une influence plus grande que les élèves dont la justesse n'a pas changé (Hayden et collaborateurs, 2026). La perception d'influence a suivi le fait que l'IA ait modifié l'ordre des hypothèses, que ce changement soit bon ou mauvais. Les auteurs ont conclu que les élèves n'ont pas distingué avec assurance l'influence utile de l'influence nuisible, un schéma compatible avec le biais d'automatisation.

Ce résultat rejoint ce que l'on sait sur l'entraînement par cas. Le texte sur l'apprentissage fondé sur des cas cliniques montre pourquoi la discussion après le cas pèse autant que le cas. Et s'entraîner avec le diagnostic différentiel et les indices aide à percevoir quand une information nouvelle a modifié la liste pour de bonnes raisons.

Une revue systématique sur l'IA générative a trouvé l'inquiétude liée à la perte de compétence parmi les thèmes récurrents, aux côtés du biais d'automatisation (Al-Anezi, 2026), et le texte sur l'usage de l'intelligence artificielle dans le raisonnement clinique discute de la manière d'intégrer ces outils à l'étude.

Pourquoi nous faisons trop confiance à la machine

Les articles recensés offrent quelques explications qui se complètent. La première est la manière dont l'IA est évaluée. La plupart des études de performance utilisent des mesures comme la sensibilité, la spécificité, l'exactitude et l'aire sous la courbe ROC, et ces chiffres décrivent l'algorithme seul, et non le duo formé par le médecin et la machine (Bittencourt, 2025). Celui qui lit un article à forte exactitude tend à transférer cette confiance à l'usage quotidien.

La deuxième explication tient au fonctionnement même des modèles. Les systèmes d'apprentissage automatique peuvent mal reconnaître un changement pertinent de contexte ou de données et continuer à faire des prédictions erronées avec assurance lorsqu'ils reçoivent des cas différents de ceux vus à l'entraînement (Challen et collaborateurs, 2019). Les mêmes auteurs rappellent que le clinicien change de comportement face à une issue potentiellement grave, même si cela réduit son exactitude apparente, et que la machine doit imiter cette prudence.

La troisième explication est la pression du temps. L'IA a rendu la lecture plus rapide à tous les niveaux d'expérience dans l'étude d'angio-IRM (Kim et collaborateurs, 2025), et la revue sur la perte de compétence décrit des échanges de diagnostic correct sous contrainte de temps (Heudel et collaborateurs, 2026). Vitesse et vérification se disputent la même attention.

Quand le problème est subtil ou rare

Une revue sur l'évaluation de l'IA en aide à la décision décrit le biais d'automatisation comme un risque aux conséquences dangereuses lorsque le système se trompe, échoue ou lorsque le problème du patient est subtilement unique (Magrabi et collaborateurs, 2019). C'est le cas qui inquiète le plus en diagnostic. La maladie rare, la présentation atypique et le patient hors du profil de l'entraînement sont précisément les moments où la machine a le moins de base et où le doute du médecin compte le plus.

Les auteurs défendent une évaluation rigoureuse avant et pendant l'usage, car le comportement des algorithmes peut changer avec le temps et le contexte (Magrabi et collaborateurs, 2019). La probabilité pré-test est ici une bonne ancre : une indication de l'IA est un test, et sa valeur dépend de qui est le patient.

Comment se protéger au quotidien

Les revues convergent sur quelques recommandations. Pour réduire la complaisance, des interventions sur plusieurs fronts sont nécessaires : éducation générale sur les outils d'IA et entraînement spécifique sur les cas où chaque outil fonctionne bien ou mal (Bittencourt, 2025). Les institutions, de leur côté, doivent définir le contexte d'usage, les protocoles, les flux de travail, l'entraînement et la certification.

En radiologie, la recommandation est que les professionnels aient une littératie en IA pour reconnaître les modes de défaillance et calibrer la confiance (Kocak et Cuocolo, 2026). Les mêmes auteurs rappellent que l'IA peut fonctionner comme second avis ou filet de sécurité, et non comme substitut de la lecture. La revue sur l'IA générative ajoute la présence d'un humain dans le circuit de décision, l'explicabilité des systèmes, la gouvernance et la requalification des professionnels (Al-Anezi, 2026).

Une routine pour utiliser la suggestion

La séquence ci-dessous est didactique et a été construite à partir des recommandations citées plus haut. Elle ne remplace pas les protocoles locaux.

1. Formez votre hypothèse avant. Dans l'étude menée avec des étudiants, l'ordre des hypothèses a été enregistré avant et après la consultation de l'IA (Hayden et collaborateurs, 2026).
2. Demandez à quoi l'outil a été conçu. L'entraînement spécifique consiste à savoir quand il a l'habitude de tomber juste et quand il a l'habitude de se tromper (Bittencourt, 2025).
3. Vérifiez la suggestion. L'erreur de commission consiste à suivre une orientation erronée (Sujan et collaborateurs, 2019).
4. Terminez la recherche complète. L'erreur d'omission consiste à ne pas agir parce que le système n'a pas signalé le problème (Sujan et collaborateurs, 2019).
5. Doutez davantage dans le cas atypique. Le risque augmente quand le problème est subtilement unique (Magrabi et collaborateurs, 2019).
6. Consignez vos désaccords. La supervision humaine structurée fait partie de l'assurance qualité (Arjmandi et collaborateurs, 2026).

Retour à la garde

Le résident de la scène a fait ce que beaucoup feraient : il a regardé avec attention ce que la machine montrait et a moins vérifié ce qu'elle ne montrait pas. En suivant les étapes ci-dessus, il aurait lu l'examen en entier avant d'ouvrir le marquage, puis vérifié la zone indiquée et, enfin, il serait revenu au reste du crâne. Le texte sur comment organiser le raisonnement dans le dossier médical montre comment consigner le désaccord de façon utile pour celui qui lit ensuite.

Des erreurs comme celle-ci sont un matériel précieux pour les séances de morbidité et de mortalité, où l'équipe discute de ce qui s'est passé sans chercher de coupables. Et le texte sur la télémédecine et le raisonnement sans examen présentiel montre un autre scénario où la technologie s'interpose entre le médecin et le patient.

Comment NEXO aide à entraîner ce raisonnement

Dans NEXO, le cas du jour est fictif, avec une présentation clinique réelle et jusqu'à six indices progressifs, et vous proposez le diagnostic en cherchant le code dans la CIM-10.

Les limites d'usage du jeu sont décrites sur la page Économie de NEXO. Si vous faites de la recherche sur l'enseignement du raisonnement clinique, la page pour les Researcher explique comment prendre contact. Les professionnels qui écrivent ou révisent des cas trouvent des informations dans Curator et dans Creators, et les institutions peuvent découvrir la proposition sur la page pour les partenariats. Savoir trouver le bon code dans la CIM-10 aide à consigner le diagnostic de façon que d'autres puissent utiliser la donnée.

Questions fréquentes

Le biais d'automatisation n'apparaît-il qu'avec l'intelligence artificielle ?

Il a d'abord été décrit dans l'aviation, avec des pilotes qui cessaient de surveiller les indicateurs de vol ou de déconnecter le pilote automatique en cas de défaillance (Sujan et collaborateurs, 2019).

Les médecins expérimentés sont-ils aussi touchés ?

En pathologie, la suggestion erronée de l'IA a réduit la justesse à tous les niveaux d'expérience (Kiani et collaborateurs, 2020).

L'IA améliore-t-elle la performance de ceux qui l'utilisent ?

Elle l'améliore quand elle tombe juste, et le plus grand bénéfice chez les étudiants est apparu chez ceux qui avaient eu les moins bons résultats avant la consultation (Hayden et collaborateurs, 2026).

Quelle est la meilleure défense contre le biais d'automatisation ?

Les revues indiquent une éducation générale sur l'IA complétée par un entraînement spécifique sur le moment où chaque outil tombe juste ou se trompe (Bittencourt, 2025).

Messages à retenir

• Le biais d'automatisation consiste à faire plus confiance à la sortie de la machine qu'à son propre jugement.
• Il produit des erreurs d'omission, quand le système ne signale rien, et de commission, quand le système oriente mal.
• La même aide qui améliore la justesse quand elle est correcte la réduit quand elle est erronée.
• L'expérience aide peu : des lecteurs et des pathologistes de tous niveaux ont été influencés.
• La précision publiée décrit l'algorithme seul, et non le duo médecin et machine.
• Le risque augmente dans le cas atypique, où la machine a moins de base.
• Formuler l'hypothèse avant de consulter l'outil préserve le raisonnement propre.

Vous voulez pratiquer le raisonnement avec des indices progressifs ? Jouez le cas du jour.

Références

1. Al-Anezi FM. Generative Artificial Intelligence in Healthcare: Automation Bias, Deskilling, and Cognitive Implications - A Systematic Review. J Healthc Leadersh. 2026. PMID 42445869.
2. Arjmandi N, Sebzari AR, Molaei F, et al. Clinical validation of AI-assisted contouring in prostate radiation therapy treatment planning: Highlighting automation bias and the need for standardized quality assurance. J Appl Clin Med Phys. 2026. PMID 41414851.
3. Bittencourt MS. Will You Tell Them When They Are Wrong? Automation Bias and Artificial Intelligence in Medicine. Arq Bras Cardiol. 2025. PMID 40667888.
4. Campion JR, O'Connor DB, Lahiff C. Human-artificial intelligence interaction in gastrointestinal endoscopy. World J Gastrointest Endosc. 2024. PMID 38577646.
5. Challen R, Denny J, Pitt M, et al. Artificial intelligence, bias and clinical safety. BMJ Qual Saf. 2019. PMID 30636200.
6. Frazer HML, Peña-Solorzano CA, Kwok CF, et al. Comparison of AI-integrated pathways with human-AI interaction in population mammographic screening for breast cancer. Nat Commun. 2024. PMID 39214982.
7. Hayden R, Blanco M, Ramesh S, et al. Diagnostic reasoning with and without AI: automation bias in pre-clerkship medical students. BMC Med Educ. 2026. PMID 42482261.
8. Heudel PE, Crochet H, Filori Q, et al. Artificial intelligence in medicine: a scoping review of the risk of deskilling and loss of expertise among physicians. ESMO Real World Data Digit Oncol. 2026. PMID 41890350.
9. Kiani A, Uyumazturk B, Rajpurkar P, et al. Impact of a deep learning assistant on the histopathologic classification of liver cancer. NPJ Digit Med. 2020. PMID 32140566.
10. Kim SH, Schramm S, Riedel EO, et al. Automation bias in AI-assisted detection of cerebral aneurysms on time-of-flight MR angiography. Radiol Med. 2025. PMID 39939458.
11. Kocak B, Cuocolo R. Human-AI interaction and collaboration in radiology: from conceptual frameworks to responsible implementation. Diagn Interv Radiol. 2026. PMID 41582537.
12. Lyell D, Magrabi F, Raban MZ, et al. Automation bias in electronic prescribing. BMC Med Inform Decis Mak. 2017. PMID 28302112.
13. Magrabi F, Ammenwerth E, McNair JB, et al. Artificial Intelligence in Clinical Decision Support: Challenges for Evaluating AI and Practical Implications. Yearb Med Inform. 2019. PMID 31022752.
14. Sujan M, Furniss D, Grundy K, et al. Human factors challenges for the safe use of artificial intelligence in patient care. BMJ Health Care Inform. 2019. PMID 31780459.