Quand l’intelligence artificielle devient dangereuse, elle est généralement pilotée par l’humain. Anthropic a été contraint de couper certains accès à des chercheurs qui ont tenté de développer des armes biologiques avec Claude.
L’entreprise Anthropic a publié un rapport détaillant plusieurs cas de mésusage de ses modèles d’intelligence artificielle, notamment son assistant Claude. Selon ce document rendu public un jeudi, la société a identifié et interrompu les activités de plusieurs scientifiques qui utilisaient ses technologies dans le cadre de travaux pouvant contribuer au développement d’armes biologiques.
Un usage problématique de l’IA
Cette catégorie d’utilisation problématique constitue l’un des sujets documentés par l’entreprise, un enjeu d’autant plus important que les modèles récents, à l’image de Fable 5, gagnent en efficacité pour assister la recherche scientifique. Le rapport présente cinq études de cas centrées sur ce risque biologique, décrivant les mécanismes de sécurité qui ont permis de détecter ces requêtes ainsi que les mesures prises en réponse.
Dans des déclarations faites au New York Times, Anthropic a souligné la complexité de cette détection, expliquant que les travaux légitimes sur de nouveaux vaccins peuvent présenter des similitudes avec la conception d’une arme biologique. L’entreprise indique avoir fait le choix de la prudence dans l’ensemble des cas traités.
« Vous ne voyez pas quelqu’un dire, comme dans une bande dessinée : “Hé, je veux fabriquer une arme biologique pour tuer tout le monde” », a expliqué Jacob Klein, responsable du renseignement sur les menaces chez Anthropic, au journal américain. « C’est une situation extrêmement nuancée. »
Les systèmes d’Anthropic déclenchent des alertes
Parmi les cas recensés figure une requête enregistrée en mai. Le système de classification de sécurité biologique d’Anthropic a signalé une demande visant à faire rédiger par Claude un dossier de subvention. Ce projet concernait des recherches dites à « gain de fonction » sur le virus du chikungunya et était affilié à un institut de recherche militaire. Les travaux proposés visaient à augmenter la transmissibilité du virus ainsi que sa capacité à échapper à la réponse immunitaire. Anthropic rappelle que ce virus ne dispose d’aucun traitement homologué et peut provoquer des symptômes invalidants pendant plusieurs semaines ou plusieurs mois.
Le rapport mentionne également des recherches à gain de fonction portant sur la grippe aviaire, ainsi qu’un cas où un chercheur a utilisé Claude pour élaborer un atlas de peptides de toxines de venin et un système génératif destiné à optimiser les caractéristiques de ces toxines. D’autres sections du document font état de mésusages à des fins de surveillance, de création d’exploits informatiques, de propagande ou d’élaboration de systèmes d’armes.
Des comptes suspendus, mais silence radio
À la suite de ces constatations, Anthropic a suspendu les comptes des utilisateurs concernés et affirme s’appuyer sur ces données pour renforcer les protections de ses modèles et prévenir de futurs abus.
L’entreprise a choisi de ne pas divulguer l’identité des personnes ni des institutions associées à ces cas d’utilisation biologique. « Les individus impliqués dans ces études de cas sont des scientifiques en activité », a précisé Anthropic. « Nous n’affirmons pas qu’ils avaient l’intention de nuire, et les identifier, eux ou leurs laboratoires, pourrait les exposer à des préjudices. »
