ChatGPT donne de mauvais conseils pour la santé d’un américain, qui finit aux urgences après une sérieuse intoxication.
Un homme de 60 ans résidant à New York a développé une intoxication rare au brome (bromisme) après avoir suivi les recommandations diététiques d’un assistant conversationnel basé sur l’intelligence artificielle (IA). Son hospitalisation, rapportée dans la revue médicale Annals of Internal Medicine et relayée par NBC News, met en lumière les risques liés à l’utilisation non encadrée de ces outils pour des conseils de santé.
Pourquoi ChatGPT a donné de si mauvais conseils ?
Le patient a interrogé ChatGPT sur des alternatives au chlorure de sodium (sel de table), dans le cadre d’une démarche visant à réduire sa consommation de sel. Le modèle d’IA lui a suggéré le bromure de sodium comme substitut, sans mentionner ses dangers potentiels. Pendant trois mois, l’homme a consommé quotidiennement cette substance, achetée en ligne, croyant à tort qu’il s’agissait d’une option plus saine.
Les symptômes sont apparus progressivement : insomnie, paranoïa, épisodes psychotiques et troubles physiques sévères. À un stade avancé de l’intoxication, il a même suspecté un empoisonnement par un voisin, illustrant l’impact neurotoxique du brome sur son état mental. Hospitalisé, les médecins ont diagnostiqué un bromisme, une pathologie rare liée à une exposition excessive aux sels de brome. Après l’arrêt de la consommation et un traitement adapté, son état s’est amélioré.
Les problématiques soulevées
- Accessibilité des substances dangereuses Le bromure de sodium, bien que peu courant dans l’alimentation moderne, reste disponible à l’achat en ligne avec peu de contrôles. Ce cas rappelle les lacunes dans la régulation des produits chimiques accessibles au grand public, surtout lorsque leur usage est détourné sur la base de conseils non experts.
- Limites des outils d’IA en matière de santé Les chercheurs ont vérifié a posteriori les réponses de ChatGPT : le modèle proposait effectivement le bromure comme alternative, sans avertissement sur sa toxicité. Ce manque de garde-fous soulève des questions sur la responsabilité des développeurs d’IA, notamment pour les sujets sensibles comme la santé. Sam Altman, PDG d’OpenAI, avait déjà mis en garde contre l’utilisation de ces outils pour des diagnostics ou des thérapies, un avis partagé par la communauté médicale.
- La frontière entre curiosité et prudence L’affaire interroge sur la confiance accordée aux IA pour des décisions aux conséquences potentielles graves. Si ces outils peuvent faciliter certaines tâches quotidiennes, ils ne remplacent pas l’expertise humaine, en particulier dans des domaines comme la médecine, où le contexte individuel et les effets secondaires doivent être évalués par des professionnels.
Quelques recommandations pour faire attention
- Pour les utilisateurs : Les conseils générés par IA doivent être systématiquement validés par un professionnel de santé, surtout lorsqu’ils concernent des modifications alimentaires, médicamenteuses ou comportementales.
- Pour les développeurs : Renforcer les mécanismes de sécurité des modèles, notamment via des filtres contextuels pour les requêtes médicales, et intégrer des mises en garde explicites sur les limites de l’outil.
- Pour les plateformes de vente en ligne : Évaluer la pertinence de restreindre l’accès à certaines substances en fonction de leur usage déclaré, afin de limiter les risques d’intoxication accidentelle.
Rappel, les IA ne savent pas tout
Ce cas n’est pas isolé : des divorces déclenchés par des “preuves” d’infidélité générées par IA ou des tentatives de thérapie automatisée ont déjà été documentés. Il illustre un enjeu plus large : l’IA est un outil d’appui, non une source d’autorité. Son utilisation doit s’accompagner d’un esprit critique, particulièrement lorsque la santé est en jeu.
