Dr Google est mort, vive Dr AI

Cette semaine, on fait le point sur l'utilisation des iA par nos patients. Jennifer Abbasi (JAMA) reçoit notre consœur Rita Rubin (USA) pour parler d'un sujet qui concerne tous les cabinets, qu'on le veuille ou non : les outils d'IA générative que vos patients utilisent déjà pour poser leurs questions de santé — avant, pendant ou après la consultation, avec ou sans vous le dire (quand ils ne vous enregistrent pas en douce pour vérifier avec l’iA que vous ne racontez pas [que] des co…ries).. histoire vécue.

📝 Résumé de l'épisode

ChatGPT n'a que trois ans, mais compte 800 millions d'utilisateurs hebdomadaires, dont 25% pour des questions de santé (selon OpenAI lui-même — à prendre avec prudence car l'éditeur a tendance à « exagérer un peu » ses chiffres). Face à cette utilisation enthousiaste, OpenAI a lancé au états unis en janvier ChatGPT Health, une version dédiée, actuellement sur liste d'attente, pendant qu'ils "intègrent les retours des premiers utilisateurs". Combien de personnes l'utilisent réellement ? Mystère.. OpenAI est en revanche plutôt taiseux à ce sujet. 🤫

Ce que dit la première étude sur ChatGPT Health.

Des cas cliniques rédigés par des médecins ont été soumis au chatbot pour tester ses recommandations de triage (dois-je aller aux urgences, appeler mon médecin, ou attendre que ça passe ?). Résultats assez contre-intuitif et fâcheux : ChatGPT health se plante lamentablement le plus souvent aux deux extrêmes du spectre diagnostic — sur les cas les plus graves et sur les cas les plus bénins. Autrement dit, ni les urgences vitales ni les bobos sans gravité ne sont son point fort ; c'est sur le "milieu de tableau" qu'il est le plus fiable. Pour le reste il est aussi fiable que la voisine de palier « qui a connu quelqu’un qui avait la même chose et qui en est mort.. » 😅 (ou pas l'histoire n'est pas très claire).

La version officielle d'OpenAI.

Nate Gross, qui pilote la stratégie santé chez OpenAI, explique avoir travaillé avec des centaines de médecins pour construire l'outil, conçu selon lui pour "donner de l'information", pas pour dire à quelqu'un s'il est malade ou pas 🫩. Question rétropédalage on a rarement vu plus gros doigt. Les médecins utilisateurs interrogés par Rubin recommandent d’ailleurs systématiquement à leurs patients de réfléchir à deux fois avant d'agir sur un conseil de chatGPT Health — surtout quand les enjeux sont élevés. Une nuance qui, en pratique, suppose que le patient pense à rebrancher le cerveau (cf article sur l'iA deskilling) et comprenne la notion « d’enjeux élevés ». 😂

Et la confidentialité dans tout ça ?

ChatGPT Health invite les utilisateurs à télécharger l'intégralité de leur dossier médical (rien de moins), y compris les données de leur iBidule connecté, tout ça pour mieux personnaliser les réponses. OpenAI affirme avoir renforcé les protections de confidentialité par rapport à ChatGPT classique. Mais, contrairement aux médecins et aux hôpitaux, les chatbots et leurs éditeurs ne sont pas soumis à HIPAA (l'équivalent américain du secret médical réglementé et du RGPD) — un vide (gouffre) juridique abyssal. Car selon l’adage : « Quand c’est gratuit c’est que tu es le produit ! », on peut raisonnablement penser que les données transmises servent à minima élaborer la réponse mais aussi à entrainer le modèle, voire plus si affinité. 😈

Soyons honnêtes : L'erreur ne vient pas QUE de la machine…

Une étude portant sur trois chatbots différents, pas seulement ChatGPT, a demandé à des personnes sans formation médicale de transmettre à l’iA des éléments cliniques rédigées par des médecins : elles omettaient souvent des informations essentielles. Autrement dit, même un outil parfait ne peut pas compenser un mauvais relais d'information — et l'invitation de ChatGPT Health à « tout envoyer » se heurte quand même à une réalité simple : un patient suivi par plusieurs professionnels de santé n'a souvent pas un dossier exhaustif à sa disposition et souvent une très vague idée de comment résumer sa situation personnelle (tout l’art de l’interrogatoire policier que les vieux médecins maitrisent après des années de pratique). Voir l’art de la traduction populaire de l’infractus, de la crise de foie ou du rhume du cerveau, sur lesquels les iA peuvent butter ou confabuler (partir sur une fausse piste). Bref le bug est souvent à 30cm de l’écran. 😏

Le vrai danger à venir : l'IA qui décide (un peu) toute seule.

ARPA-H (l'agence de recherche biomédicale avancée, rattachée au ministère américain de la Santé) vient de lancer un programme pour développer, sous deux ans (!), des applications d'IA capables de prendre des décisions semi-autonomes pour des patients en insuffisance cardiaque — notamment ceux qui vivent dans des zones sans cardiologue. Le principe affiché : ces outils seraient des "prolongateur de clinicien", pas des remplaçants mais presque. Disponibles seulement après des tests rigoureux démontrant une amélioration mesurable de la sécurité, des résultats cliniques et de l'équité d'accès (est-ce que tout le monde peut s'en servir). 

Concrètement : le patient signale une modification de ses symptômes, l'outil évalue s'il doit se rendre aux urgences, ou alors peut aussi ajuster certaines prescriptions. 

L'ambition à terme : étendre le principe à d'autres pathologies chroniques. On voit venir au galop les problémes si le chatbot se plante : qui est responsable ?

🔮 Mise en perspective pour nous les Froggies

Le vide juridique HIPAA a son équivalent français, en pire sur le papier et en mieux sur le fond : le RGPD, qui classe la donnée de santé en catégorie "particulière" (article 9), ce qui impose en théorie un régime de protection plus strict qu'aux zétats-zunis. Mais la réalité en vie réelle rejoint le même constat amer— un patient qui envoie son dossier complet et en plus les données de sa montre connectée (on pense par exemple au Fitbit Air de Google) dans un LLM généraliste hébergé hors Union européenne sort largement du cadre du secret médical et de l'hébergement de données de santé (HDS) auquel nous, en tant que praticien, sommes soumis. Le patient ne le sait généralement pas, et le chatbot ne le lui dit pas de façon explicite pour que ce soit un véritable consentement éclairé. Ce qu’il cache prudemment à son banquier, sa femme et à ses enfants, il le balance à Sam (Altman) ou Gemini en version « un-cut » (non censurée) depuis la terrasse d'un café. 

Sur le triage en U (c’est mauvais aux deux extrêmes) :

c'est le point crucial de cet article, qui mérite d'être diffusé largement aux patients utilisateurs des chatbots même celles dédiées à la santé. Une iA qui rassure à tort sur une urgence vitale est un vrai risque de perte de chance ; d’un autre coté une iA qui alarme à tort sur un symptôme bénin engorge inutilement les structures d'urgence ou la file d'attente du cabinet. Dans les deux cas ce n’est pas bien brillant et surtout loin de la promesse produit initiale. Imaginez un tableau de bord de voiture qui s’allumerait comme un arbre de Noël pour un oui ou pour un non. Useless diraient Sam et Elon. 

Rien de comparable n'existe aujourd'hui en France, et le chemin réglementaire y serait de toute façon très différent (un tel outil serait un dispositif médical logiciel au sens du règlement européen sur les dispositifs médicaux — marquage CE, pas uniquement une autorisation FDA). Mais le signal de fond est là — passer de l'IA conversationnelle ludo-éducative à l'IA qui ajuste des prescriptions — est aussi clairement envisagé pour les déserts médicaux français ou certaines « éminences grises politiques » envisagent de déployer des BAC+3 (+/-2 ou VAE) armés uniquement de chatGPT et de leur bon sens médical limité pour faire de l’exercice néo-légal de la médecine en désert désertique de tout. Comprendre sans filet.

Hors l’expérience le démontre sur les modèles les plus avancés (donc à priori les moins bêtes en termes de compétences artificielles) ça ne fonctionne pas pour ce qui est le plus stratégique en termes de santé publique : quand c’est grave et qu’il faut rendre la main ou que ça ne l’est pas et que ça peut attendre. Ça ne marche que quand c’est évident. 🙄 Les rhinos seront traitées à la pointe des repos aussi dans le Larzac et nous voila bien avancé.

Ce que ça change en pratique ?

1- Partez du principe qu'ils l'ont déjà fait. Une part non négligeable de vos patients a probablement déjà interrogé ChatGPT ou équivalent avant de venir vous voir, ou le fera après. Le réflexe à intégrer en consultation : demander cash ce que l'IA leur a dit, plutôt que de l'ignorer ou de le découvrir par surprise à posteriori. Cela permet de corriger une fausse alarme ou une fausse réassurance — précisément le point faible identifié par cette étude sur le triage.

2- Insistez sur le "avant d'agir, on vérifie". Le message important à passer, notamment pour vos patients chroniques ou à risque : ne jamais modifier un traitement ou différer une consultation  sur la seule base d'une réponse d‘une iA, surtout si l'enjeu est important.

3- Alertez sur la confidentialité, en particulier pour les données sensibles. Un patient qui envisage « de se foutre à poil sur ChatGPT » (envoyer tout son dossier médical) pour « savoir » où  "gagner du temps" doit être prévenu que ses données ne bénéficient ni du secret médical, ni nécessairement d'un hébergement « données de santé », ni d'un vrai droit à l'oubli comparable à celui de son dossier médical. Ce point est particulièrement sensible pour tout ce qui touche à la santé mentale, aux addictions, aux cancers guéris ou aux pathologies génétiques. On a déjà vu des données personnelles réapparaître dans la réponse à une requête formulée plus tard par un autre usager ! Car vos données entraînent les modèles et peuvent resurgir plus tard. 

4- Le relais d'information reste un maillon faible — y compris pour vous. L'étude sur les vignettes mal transmises nous rappelle une évidence : un patient qui vous rapporte "ce que l'IA lui a dit" a pu, comme avec le chatbot, omettre des éléments clés du contexte. Le compte-rendu d'un échange avec l'IA n'est pas plus fiable que celui d'un patient qui vous rapporte l'avis d'un confrère — à ne jamais prendre pour argent comptant sans un compte rendu écrit. Il y a « ce qu’il à envoyé », « la réponse qu’il à reçu » et sa « compréhension de la réponse ». Trois niveaux de perte de sens possible 🤯

5- Surveillez l'arrivée d'outils "semi-autonomes" pour patients chroniques. Rien d'imminent en France, mais la trajectoire ARPA-H mérite d'être observée du coin de l’œil pour ces patients qui pourraient être bientôt suivis à distance par des systèmes automatiques (on pense à la cardio, onco, diabéto, maladies rares..) — le jour où un outil de ce type sera évalué et marqué CE, la question ne sera plus "si ça fonctionne" mais "comment intégrer ce machin » à votre pratique.

Limites de cet article

Le programme ARPA-H n'existe pour l'instant qu'à l'état de projet financé — aucun outil déployé, aucune donnée d'efficacité disponible à ce stade.

Références pour aller plus loin

• L'étude de référence sur le triage de ChatGPT Health à partir de vignettes rédigées par des médecins — ChatGPT Health performance in a structured test of triage recommendations, Nature Medicine (voir aussi la fiche PubMed).
• Sur la qualité du relais d'information par les patients face à un chatbot par rapport à un médecin — Reduced symptom reporting quality during human–chatbot versus human–physician interactions, Nature Health.
• Sur le vide juridique entre chatbots de santé et cadre réglementaire de la confidentialité (HIPAA aux États-Unis) — AI Chatbots, Health Privacy, and Challenges to HIPAA Compliance, JAMA.
• Revue systématique sur la fiabilité des conseils de santé donnés par les LLM grand public — Large Language Models for Chatbot Health Advice Studies: A Systematic Review, JAMA Network Open.
• Sur le programme gouvernemental américain visant une IA semi-autonome pour l'insuffisance cardiaque — ARPA-H to revolutionize cardiovascular disease management with clinical agentic AI, ARPA-H (source primaire, non publiée par les pairs).

⠀Au plaisir d'échanger avec vous : est-ce que vos patients vous parlent déjà de ce qu'un chatbot leur a répondu, et comment gérez-vous cela en consultation ?

Nous reviendrons dans un billet ultérieur sur « comment gérer » l’accompagnant iA invisible lors de nos consultations et se faire un allié de ce que d’aucun pourraient voir comme une insulte à leur savoir académique poli par de longues années de pratiques.

À la semaine prochaine.