Impact de la présence des codes diagnostics sur les résultats cliniques des prédictions par l'IA.
Bienvenue sur I.A.M. Intelligence artificielle médicale — la lettre hebdomadaire iA4Med.
Cette semaine on s’interroge sur pourquoi les IA qu'on nous promet « révolutionnaires » sur le papier peinent tant à nous aider concrètement lors de nos consultations au cabinet ? Cet article met le doigt pile là où ça fait mal. Installez-vous confortablement, on fait le point.
📝 Résumé de l'article Diagnostic Codes in AI Prediction Models and Label Leakage of Same-Admission Clinical Outcomes
Le problème : L'IA triche avec le futur
À l'hôpital, de nombreux modèles d'IA sont entraînés à prédire l'évolution des patients (comme le risque de décès) en se basant sur les codes diagnostiques de la Classification Internationale des Maladies (CIM 10).
Le hic ? Ces codes de facturation sont validés et figés par le Département de l'Information Médicale (DIM) qu'après la sortie du patient (voire son décès). Intégrer ces codes dans l'entraînement d'une IA crée ce qu'on appelle en informatique un biais de données temporel (label leakage). En gros, le modèle s'entraîne en lisant la fin du livre (l'historique administratif finalisé), une information par définition totalement indisponible pour le clinicien au lit du malade en temps réel. Ce détail, pourtant trivial, semble avoir échappé à de nombreux chercheurs.
La méthode
Pour mesurer l'ampleur des dégâts, les auteurs ont récupéré les dossiers de 180 640 patients via la célèbre base de données de réanimation MIMIC-IV. Ils ont volontairement entraîné des algorithmes d'IA en utilisant uniquement les codes CIM comme données pour prédire la mortalité intra-hospitalière. En parallèle, ils ont épluché la littérature scientifique pour voir si les chercheurs tombaient souvent dans le panneau.
Les résultats (assez hallucinants, disons-le)
- Des performances magiques… sur le papier : Les modèles entraînés uniquement sur les codes CIM ont affiché une précision digne de Madame Irma armée de sa boule de cristal, avec une aire sous la courbe quasi parfaite de 0,97. Dans 97% des cas ils voyaient juste et on pouvait précommander le cercueil. 😱
- Le bon sens clinique aux abonnés absents : Quand on regarde pourquoi l'IA était si fortiche, on frise le ridicule. Les variables les plus importantes pour l'algorithme étaient les codes CIM d'arrêt cardiaque, de mort cérébrale ou de recours aux soins palliatifs. C'est mathématiquement logique après coup, mais cliniquement inutile pour nous aider à anticiper et sauver le patient en amont. Plus drôle (ou tragique) : le code "lésion superficielle de la cornée" était associé à une forte chance de survie. Pourquoi ? Tout simplement parce que si le médecin a le temps de coder un petit bobo à l'œil, c'est que son patient est stable (et non pas que le confrère fut un drosophilo-sodophile avéré). 😉
- Une erreur massivement validée par les revues scientifiques : La revue de la littérature a révélé que 40,2 % des études publiées (37 sur 92) sur cette base de données ont commis cette erreur de débutant, en incluant des données rétroactives pour prédire des événements en temps réel. Vous avez bien lu : dans 40% des cas les résultats c’est 💩. Oupsy 🙊
La conclusion de cette étude
Utiliser les codes CIM de l’hospitalisation en cours est un biais méthodologique majeur qui dope artificiellement les performances des IA de santé. Pour créer des outils vraiment utiles aux soignants, les développeurs doivent impérativement travailler main dans la main avec nous et n'utiliser que des données basées sur l'heure exacte de saisie en temps réel dans le dossier médical. Pas sur du rétrospectif ou pire du in-silico.
🔮 Mise en perspective : et pour la médecine de ville ?
Si cette étude se penche sur les services de réanimation et d'urgences hospitalières, la leçon qu'elle nous donne résonne fortement pour nos cabinets de médecine ambulatoire.
Gare au "sur-optimisme" de nos logiciels métiers
Nous voyons peu à peu arriver de plus en plus d'outils d'IA intégrés à nos logiciels de gestion de cabinet (aide au diagnostic, codage, rédaction, scores de risque cardiovasculaire personnalisés, alertes diverses). Si ces algorithmes ont été validés sur des cohortes de recherche sans un contrôle strict du data-set et de la chronologie, ils vont nous donner une fausse impression de sécurité. Une IA peut afficher une efficacité redoutable lors des essais cliniques, mais s'avérer totalement aveugle face au patient qui s'assied en face de vous un lundi matin, simplement parce qu'elle n'a plus accès aux "données du futur" que les chercheurs lui avaient fournies par erreur. C’est en gros Marty Macfly avec une canne blanche 👨🦯
La temporalité de la médecine en vie réelle n'est pas celle de l'administration
En médecine, le décalage entre le moment où l'on suspecte une pathologie et celui où on la code officiellement (par exemple lors de la demande d'une ALD pour une insuffisance cardiaque ou une démence débutante) peut prendre des mois. Si l'IA de votre logiciel se base sur la date de validation de l'ALD pour calculer un risque, elle passe à côté de la vraie fenêtre d'opportunité thérapeutique. Pour nous être utile, l'IA en médecine de ville doit analyser nos données cliniques brutes au jour le jour (le texte de nos observations, l'évolution de la tension artérielle, les résultats de biologie importés par Hprim) et non des statuts administratifs validés a posteriori.
De l'importance de notre expertise de terrain
L'article le dit très bien : on ne peut pas faire de la bonne tech en santé sans les cliniciens. Les ingénieurs qui conçoivent les outils de demain ont besoin de nos retours pour comprendre comment l'information est réellement générée en consultation. Un symptôme flou (comme une asthénie ou une toux persistante) n'a pas la même valeur prédictive selon qu'il est pris en charge en médecine de premier recours ou aux soins intensifs. C'est à nous de guider les développeurs pour que l'IA s'adapte à la vraie vie de nos cabinets.
Restons curieux et enthousiastes face à l'IA, mais gardons notre précieux sens clinique et notre scepticisme de praticiens spécialisés dans le doute ! Quand un outil vous promet une précision magique proche de 100 %, rappelez-vous cette étude : il y a de fortes chances que l'algorithme ait simplement triché en lisant la fin de l'histoire pour deviner le coupable.
Facile de gagner si on triche. 😉
Au plaisir d'échanger avec vous sur vos propres retours d'expérience avec ces outils au cabinet ! Bon courage pour vos prochaines consultations.
That’s all folks…Et à la prochaine.