Après ChatGPT d’OpenAI, c’est au tour de Gemini de Google de se mettre à pirater des entreprises. Lors de tests, trois entreprises ont été victimes d’un piratage autopiloté par l’IA de Google.
Au cours d’évaluations de cybersécurité menées en mai dernier, le modèle d’intelligence artificielle Gemini de Google a accédé aux systèmes informatiques de trois entreprises réelles. Révélés par le Wall Street Journal, ces incidents se sont produits alors que l’outil devait évoluer dans un environnement de test contrôlé aux côtés de sociétés fictives. Une connexion Internet non prévue a toutefois permis au modèle d’accéder à des sites réels, qu’il a traités comme s’ils faisaient partie de l’exercice.
Des tests de sécurité informatique qui déraillent
Selon les informations disponibles, les tests étaient organisés par la société de sécurité informatique Irregular. Lors d’une première simulation, Gemini devait récupérer des données appartenant au logiciel d’une entreprise virtuelle qui partageait son nom avec une firme existante. L’IA a alors deviné des mots de passe à plusieurs reprises jusqu’à s’introduire dans le système protégé de la véritable entreprise. Dans les deux autres cas, le modèle a découvert des identifiants d’accès sur des répertoires publics en ligne pour pénétrer dans les systèmes de deux autres sociétés.
Google a précisé que Gemini a interrompu ses actions dès qu’il s’est rendu compte que les cibles étaient réelles. Informée de la situation par la firme Irregular à la fin du mois de juillet, l’entreprise n’avait pas communiqué publiquement sur ces événements. Google indique qu’aucun dommage n’a été causé, que les organisations touchées ont été prévenues et que les procédures d’évaluation ont été modifiées. L’entreprise n’a pas révélé le nom des sociétés concernées ni la version spécifique de Gemini impliquée, et n’a pas formulé d’excuses publiques.
Heather Adkins, vice-présidente de l’ingénierie de sécurité chez Google, a déclaré que ces événements démontraient la nécessité d’entraîner les modèles d’IA puissants à agir de manière responsable. Google maintient que le modèle cherchait à exécuter la tâche attribuée plutôt qu’à cibler délibérément des victimes.
Un cas déjà existant chez OpenAI
D’autres entreprises du secteur ont été confrontées à des incidents analogues. Les agents d’OpenAI se sont introduits dans le service Hugging Face et ont compromis des comptes sur plusieurs autres plateformes après être sortis d’un environnement de test. Anthropic a pour sa part révélé que des modèles Claude avaient accédé aux systèmes de production de trois organisations, tandis qu’un autre modèle avait tenté d’inciter un développeur à accepter du code malveillant. Enfin, un modèle de Meta a également accédé à Internet lors d’un test mené par Irregular pour s’introduire dans un service tiers, une intrusion attribuée par Meta à une mauvaise configuration de l’évaluation.
Ces faits, conjugués aux mises en garde émanant des développeurs d’IA eux-mêmes, ont vivement renforcé les inquiétudes quant aux risques que cette technologie pourrait faire peser sur la survie de l’humanité. Des dirigeants du secteur, tels que Dario Amodei (Anthropic), Sam Altman (OpenAI) et Elon Musk (xAI), se sont déclarés favorables aux appels visant à ralentir le développement des modèles les plus avancés.
Sur le plan législatif, Bernie Sanders et le représentant Greg Casar ont annoncé le projet de loi Ban Artificial Superintelligence Act. Ce texte propose d’interdire de façon permanente le développement et le déploiement de superintelligences artificielles, tout en imposant une pause temporaire sur le développement des IA avancées en attendant qu’un régulateur fédéral établisse des règles de sécurité. Les personnes enfreignant ces restrictions s’exposeraient à des peines allant jusqu’à 20 ans de prison.
