Santé numérique : une étude alerte sur les limites des chatbots médicaux

Mardi 10 - 15:44

L’essor des outils d’intelligence artificielle dans le domaine médical suscite autant d’espoirs que d’interrogations. Une étude publiée lundi dans la revue scientifique Nature Medicine vient rappeler les limites actuelles de ces technologies : à ce jour, des modèles comme ChatGPT ne sont pas capables d’établir des diagnostics médicaux fiables à partir des symptômes décrits par des patients.

Une efficacité comparable à une simple recherche en ligne

Conduite au Royaume-Uni auprès de 1.300 participants, cette recherche a évalué la capacité de plusieurs systèmes d’IA – dont ChatGPT, Llama de Meta et Command R+ – à interpréter des descriptions de symptômes. Les résultats montrent que ces outils ne font pas mieux qu’une recherche classique sur internet lorsqu’il s’agit d’identifier correctement une pathologie.

« Il existe un réel engouement autour des intelligences artificielles, mais elles ne sont tout simplement pas prêtes à remplacer un médecin », affirme Rebecca Payne, chercheuse à l’Université d’Oxford et co-auteure de l’étude. Selon elle, les performances actuelles des chatbots médicaux demeurent largement insuffisantes pour un usage clinique direct.

Une simulation révélatrice des limites

Pour tester la pertinence des outils, les chercheurs ont soumis aux participants dix scénarios cliniques fictifs correspondant à des diagnostics reconnus par la communauté médicale. Les volontaires devaient identifier la maladie en s’appuyant soit sur un chatbot d’IA, soit sur une recherche en ligne traditionnelle.

Seuls environ un tiers des participants ont réussi à formuler un diagnostic correct, quel que soit l’outil utilisé. Un résultat qui met en lumière l’écart entre les performances théoriques des modèles d’IA et leur efficacité dans un contexte réel.

Ces conclusions contrastent avec d’autres études ayant montré que des systèmes comme ChatGPT peuvent obtenir de bons scores lors d’examens médicaux théoriques. Mais réussir des questionnaires académiques ne signifie pas pour autant être capable d’analyser des cas concrets décrits de manière approximative.

Des difficultés liées à la nature des données

L’une des principales limites identifiées réside dans la façon dont les patients décrivent leurs symptômes. Informations imprécises, omissions ou formulations ambiguës compliquent fortement l’analyse algorithmique. Or, la qualité des résultats produits par une IA dépend directement de la qualité des données qui lui sont fournies.

Dans la pratique, un professionnel de santé peut poser des questions complémentaires, examiner le patient et mobiliser son expérience clinique. Un chatbot, en revanche, se base uniquement sur un échange textuel, ce qui réduit considérablement sa marge d’interprétation.

Vers un usage encadré de l’IA médicale

Cette publication intervient alors que l’usage de l’intelligence artificielle dans la santé connaît un développement rapide à l’échelle mondiale. Dans de nombreux pays, l’accès à un médecin devient de plus en plus difficile, ce qui pousse certains patients à se tourner vers des solutions numériques.

En France, la Haute autorité de santé doit prochainement se prononcer sur l’utilisation directe de ces outils par le grand public. Fin 2025, elle estimait déjà que l’IA pouvait constituer une aide précieuse pour les professionnels de santé, à condition d’être utilisée dans un cadre strictement encadré.

Les auteurs de l’étude reconnaissent toutefois certaines limites à leurs travaux, notamment l’usage de scénarios fictifs et l’évaluation de versions d’IA aujourd’hui dépassées par des modèles plus récents. Malgré cela, les conclusions demeurent prudentes. « Cette étude est très importante car elle montre que les chatbots présentent de réels risques médicaux pour le grand public », avertit David Shaw, spécialiste en bioéthique à l’Université de Maastricht.

En attendant de nouvelles avancées technologiques, les experts appellent donc à la prudence : l’intelligence artificielle peut constituer un outil d’assistance, mais elle ne remplace pas encore l’expertise humaine dans le diagnostic médical.