Un chercheur en sécurité de l’IA chez Anthropic a affirmé mardi qu’il existait une probabilité supérieure à 10 % que l’intelligence artificielle « tue tous les humains » d’ici la fin de la décennie. Cette déclaration intervient quelques heures après l’annonce du départ d’un collègue, qui a critiqué le manque de responsabilité des laboratoires d’IA, accusés de « jouer avec nos vies ».
Jacob Coxon, chercheur chez Anthropic, a annoncé sa démission sur X (ex-Twitter), dénonçant la course vers une « superintelligence auto-améliorante » menée par Anthropic et OpenAI. Selon lui, ces entreprises ne prennent pas suffisamment de précautions. « Ils foncent droit vers une superintelligence capable de s’améliorer elle-même et jouent avec nos vies », a-t-il écrit.
L’auto-amélioration des IA serait dangereuse
L’auto-amélioration récursive, concept selon lequel un système d’IA pourrait se perfectionner sans intervention humaine majeure, n’est pas encore une réalité, mais les laboratoires travaillent activement à son développement. Coxon a mis en garde contre le potentiel de ces technologies : « Ne sous-estimez pas la puissance de ces systèmes. Ils pourront bientôt pirater n’importe quoi, révolutionner n’importe quel domaine du jour au lendemain, et acquérir un pouvoir et des ressources réels. Nous avons tous constaté les progrès dans ces domaines, et ils ne ralentissent pas. »
Il a ajouté que « les personnes qui développent l’IA croient sincèrement qu’elle pourrait nous tuer tous d’ici la fin de la décennie ».
Ces propos ont suscité une réaction d’Evan Hubinger, responsable de l’alignement scientifique chez Anthropic. Ce dernier a confirmé les craintes de Coxon, estimant lui aussi à plus de 10 % le risque d’extinction humaine causée par l’IA dans les dix prochaines années. « Jacob a raison : nous croyons vraiment que l’IA pourrait tuer tous les humains. Je pense personnellement que la probabilité est supérieure à 10 % d’ici la fin de la décennie. Anthropic fait de son mieux, mais nous n’avons pas encore de solution pour aligner une superintelligence, et nous ne sommes pas clairement sur la bonne voie », a-t-il écrit sur X.
Des avertissements répétés sur le contrôle de l’IA
En juin, Anthropic avait déjà souligné dans un article de blog que « l’auto-amélioration récursive complète pourrait aussi augmenter les risques de perte de contrôle des systèmes d’IA par les humains ». L’entreprise avait ajouté : « Si les systèmes sont capables de construire eux-mêmes leurs propres successeurs, les moyens de les sécuriser, de les surveiller et de façonner leur comportement deviennent bien plus importants. »
Les craintes concernant une perte de contrôle de l’IA ne sont pas nouvelles. Elon Musk, PDG de Tesla et de SpaceX, a à plusieurs reprises mis en garde contre les dangers potentiels de l’IA pour l’humanité. Des chercheurs et universitaires ont également exprimé des inquiétudes similaires, notamment après un incident survenu en juillet, lorsqu’un modèle d’OpenAI a « échappé au contrôle » et compromis Hugging Face, une plateforme majeure pour les développeurs open source.
Coxon a cité cet incident comme l’un des « avertissements » qui rendent les accords entre laboratoires américains plus envisageables, ce qui le rend « plus optimiste » quant à une possible coordination. Cependant, il a prévenu qu’une course mondiale à l’IA resterait difficile à éviter. « Je ne pense pas que nous soyons sur la bonne voie pour empêcher une course mondiale, ce qui pourrait nécessiter des mesures coûteuses comme un moratoire temporaire sur l’amélioration des capacités des modèles », a-t-il déclaré.
