Le biais d'automatisation : quand l'IA semble avoir raison, on cesse de réfléchir

Cette semaine, retour sur une revue systématique parue dans AI & Society : Exploring automation bias in human–AI collaboration: a review and implications for explainable AI (Romeo & Conti, 2026, DOI 10.1007/s00146-025-02422-7). Les auteurs, de l'université de Catane, ont passé au crible 35 études expérimentales (19 774 participants au total, méthode PRISMA) publiées entre 2015 et 2025, pour comprendre pourquoi nous avons tendance à suivre une recommandation d'IA même quand elle a tort.

Le biais d'automatisation, c'est quoi au juste ?

Le biais d'automatisation désigne une tendance à privilégier une recommandation informatique par rapport à notre propre jugement, y compris lorsque des informations contradictoires plus fiables sont disponibles (définition proposée par Cummings dès 2004 et reprise dans la revue). Concrètement, il se traduit par deux types d'erreurs : les erreurs de commission (on agit sur une suggestion fausse sans la vérifier) et les erreurs d'omission (on n'agit pas parce que l'IA n'a rien signalé).

Une étude princeps citée dans la revue illustre bien le phénomène : Bond et al. (2018) ont fait interpréter des ECG à 30 médecins (15 cardiologues confirmés, 15 non spécialistes) avec des diagnostics automatisés faux dans 50 % des cas. Résultat : la précision diagnostique des non-spécialistes s'est effondrée de 86 % à 27 %, contre 85 % à 42 % chez les cardiologues confirmés. Personne n'est totalement à l'abri, mais l'expertise atténue la décrépitude.

Ce que montre l'ensemble de ces études

👍 L'expérience professionnelle protège, mais partiellement. Kücking et al. (2024), sur 210 professionnels évaluant des plaies avec un système d'aide à la décision, identifient l'expertise diagnostique et la formation spécifique comme facteurs protecteurs les plus robustes. Mais Dratsch et al. (2023), avec 27 radiologues sur des mammographies, montrent que même les plus expérimentés voient leur précision chuter significativement face à une IA en délire.

👎 La confiance est un piège à trois visages avec trois façons de faire une confiance aveugle à une IA :

• une question de tempérament : certaines personnes font naturellement confiance aux machines, d'autres pas du tout ;
• une question de contexte : on fait plus ou moins confiance selon la situation, le moment (une urgence, un examen de routine) ;
• une question d'habitude : plus on utilise un outil, plus on lui fait confiance.

Le problème vient de ce troisième type. Avec un collègue, la confiance se construit jour après jour : faire confiance à un cardiologue ne signifie pas faire automatiquement confiance à un autre cardiologue qu'on n'a jamais croisé. Avec l'IA, ce n'est pas du tout le cas. Duan et al. (2024) montrent qu'après avoir appris à faire confiance à une IA, on transfère cette confiance à un autre outil d'IA différent, jamais testé, sans se poser la question de savoir s'il la mérite. 🤪

👎 L'explicabilité ne suffit pas, et peut même aggraver les choses. C'est sans doute le constat le plus contre-intuitif de cette revue. Vered et al. (2023) montrent que les explications fournies par une IA peuvent renforcer une confiance injustifiée plutôt que d'inviter à utiliser son esprit critique. Cecil et al. (2024) ajoutent que des explications trop complexes augmentent la charge cognitive et réduisent la capacité de traitement. Même les explications simples posent problème : Jacobs et al. (2021) montrent qu'elles sont particulièrement trompeuses quand l'IA se plante, faute d'informations suffisantes pour repérer l'erreur.

👎 Le syndrome Dunning-Kruger(1) numérique. Horowitz et Kahn (2024), sur près de 9 000 participants, mettent en évidence une relation non linéaire : les personnes ayant des connaissances minimales en IA s'en méfient, celles ayant des connaissances modérées sont les plus susceptibles de sur-utiliser l'IA sans esprit critique, et seules celles ayant une connaissance approfondie du fonctionnement de l'IA développent une confiance adaptée.

👎 L'ordre de présentation change tout. Cabitza et al. (2023) comparent deux protocoles en imagerie médicale : quand l'IA propose sa recommandation avant l'évaluation du clinicien (protocole IA-firts), la précision diagnostique s'améliore globalement, mais l'effet d'amorçage ("priming") est plus fort quand l'IA se plante. Quand le clinicien évalue d'abord seul (protocole human-first), on observe soit un biais de conservatisme, soit au contraire une "complaisance automatique" — selon que l'avis de l'IA confirme ou contredit le jugement initial.

En pratique

Privilégier le protocole « humain d'abord, et IA en deuxième avis ». Agudo et al. (2024) proposent un changement de posture : plutôt que de positionner le médecin comme simple vérificateur d'une décision rendue par l'IA, il vaut mieux le laisser former son propre jugement en premier, l'IA n'intervenant qu'ensuite comme alerte sur les erreurs potentielles. Cette approche préserve l'autonomie de décision.

Rechercher une IA « stimulante », et non complaisante. Cabitza et al. (2024) défendent le concept d'IA « cognitivement non invasive », qui encourage la prudence et la responsabilité plutôt que la validation aveugle. Leur approche ne donne pas d'emblée un diagnostic suivi d'une justification (l'approche classique) : elle présente des cas similaires, favorables et défavorables, pour stimuler le raisonnement par analogie sans se substituer au jugement du médecin.

Se méfier des explications trop rassurantes. Puisque la simple présence d'une explication peut suffire à renforcer la confiance sans améliorer la précision, mieux vaut évaluer une explication à l'aune d'une question concrète : m'aide-t-elle réellement à détecter une erreur, ou me rassure-t-elle seulement ?

Investir dans la formation, pas seulement dans l'outil. Nourani et al. (2022) recommandent des sessions d'entraînement exposant explicitement les forces et les limites de l'IA avant son déploiement, avec des exemples de sorties correctes et erronées, afin de construire un modèle mental utilisateur réaliste du système.

Est-ce que le fait qu'une IA explique ses réponses suffit à nous protéger de ses erreurs ?

Non, et c'est la conclusion la plus nette de cet article. La transparence à elle seule est insuffisante pour améliorer la précision des décisions ou réduire le biais d'automatisation. Ce qui compte, selon les auteurs, c'est l'engagement actif de l'utilisateur : plus l'effort de vérification est réel, moins la complaisance envers une recommandation stupide est probable. Les fonctions dites de "forçage cognitif" (Buçinca et al., 2021) — qui obligent l'utilisateur à formuler sa propre décision avant de voir celle de l'IA — réduisent significativement la sur-confiance  en l'IA en cas d'erreur, même si les utilisateurs les trouvent plus pénibles et leur préfèrent des systèmes plus simples... précisément ceux qui protègent le moins.

En guise de conclusion

Une IA plus précise n'est pas nécessairement une IA qui nous rend plus précis. Le vrai plus n'est pas dans la sophistication de l'explication mais la vigilance qu'elle parvient — ou pas — à provoquer chez celui qui l'utilise. Comme le rappellent les auteurs, l'objectif de l'explicabilité ne doit pas être d'augmenter la transparence en tant que soit, mais renforcer l'esprit critique et non de le remplacer.

Bref : une explication qui rassure sans faire réfléchir n'est pas une protection, mais un piège de plus. 😉

(1)  Le syndrome Dunning-Kruger, c'est le fait que les personnes qui maîtrisent le moins bien un sujet ont tendance à surestimer leurs compétences dans ce domaine, faute de pouvoir se rendre compte de leurs propres lacunes — alors que les vrais experts, eux, ont plutôt tendance à sous-estimer leur niveau, car ils perçoivent mieux la complexité du sujet et l'étendue de ce qu'ils ne savent pas encore.  Appliqué à l'IA : ce ne sont pas les novices qui font le plus confiance à l'IA (eux restent méfiants), mais les personnes ayant des connaissances moyennes sur son fonctionnement. Elles en savent assez pour se sentir à l'aise, mais pas assez pour repérer ses limites — d'où une confiance excessive et mal calibrée. Seuls les vrais experts du fonctionnement de l'IA arrivent à doser correctement leur confiance.