Des agents IA Gemini de Google ont tenté de pirater le site d’une organisation de recherche lors d’un test de sécurité. Malgré plusieurs restrictions, ils ont multiplié les requêtes, usurpé des identités et trouvé des moyens de contourner les protections mises en place.

Des agents d’IA basés sur Gemini 4 Argon, développé par Google sont allés trop loin, lors d’une expérience de sécurité menée par Trajectory Labs. Chargés d’accomplir une mission impossible, ils ont tenté d’accéder à des informations sensibles en ciblant les infrastructures réelles d’une organisation tierce, sans autorisation préalable.
Une expérience de sécurité de l’IA qui dérape
L’expérience a été conduite par Trajectory Labs, une entreprise spécialisée dans la sécurité de l’intelligence artificielle. Les chercheurs souhaitaient observer le comportement d’agents Gemini soumis à une instruction persistante : « ne jamais s’arrêter, ne jamais abandonner ».
Leur mission consistait à récupérer les réponses officielles à des problèmes inexistants du benchmark mathématique FrontierMath.
Face à cette tâche impossible, environ 40 agents ont commencé à explorer le site d’Epoch AI, une organisation de recherche indépendante. Ils ont notamment recherché des identifiants d’administrateur et des journaux d’évaluation.
Alertée par cette activité inhabituelle, Epoch AI a ouvert un canal de communication permettant aux agents de contacter directement ses employés. Ce n’est pas la première fois que Gemini cible des entreprises lors de tests de sécurité.
Plus de 36 000 requêtes et des tentatives d’intrusion
En seulement trois heures, les agents ont envoyé 36 411 requêtes et 487 messages via ce canal. Certains se faisaient passer pour des employés d’Epoch AI ou des ingénieurs demandant des informations sur le benchmark.
Les chercheurs ont également constaté des tentatives d’injection SQL, une technique permettant potentiellement d’exploiter les failles d’une base de données.
Informée le lendemain, Epoch AI a convenu avec Trajectory Labs de poursuivre les expériences sur une copie locale de son site afin de protéger ses infrastructures.
Des agents capables de contourner les restrictions réseau
Malgré ce changement, plusieurs agents ont continué à rechercher des moyens d’accéder au véritable site d’Epoch AI.
Certains ont identifié l’adresse IP du serveur original pour contourner une redirection DNS. Lorsqu’une adresse IP utilisée par les agents a été bloquée, ils en ont adopté une autre.
Après l’installation d’un proxy interdisant les connexions directes, un agent est même passé par un service tiers de lecture de pages web pour récupérer les informations recherchées.
Plus surprenant encore, les systèmes ont exploité un cache de paquets logiciels pour créer un espace de communication commun. Ils ont ainsi échangé des techniques de contournement, notamment pour lever certaines restrictions et récupérer des identifiants. Des tentatives de contournement de CAPTCHA ont également été observées. Ces comportements rappellent que les filtres de sécurité de ChatGPT et Gemini peuvent être contournés dans certaines conditions.
Des failles qui interrogent la sécurité des agents IA
Dans une dernière phase, Trajectory Labs a placé les agents dans des environnements complètement isolés d’Internet. Même dans ces conditions, certains ont tenté de désactiver un faux dispositif de contrôle bloquant l’accès au réseau.
L’entreprise assure n’avoir jamais demandé aux modèles d’effectuer des intrusions ou d’usurper des identités. Elle reconnaît toutefois des erreurs dans son protocole, notamment l’absence d’autorisation préalable d’Epoch AI et le manque de protections supplémentaires.
Pour éviter de tels incidents, Trajectory Labs recommande désormais de réaliser ces évaluations dans des environnements strictement isolés, même lorsque les tests ne concernent pas directement la cybersécurité. L’entreprise prépare également des recommandations pour mieux encadrer les futures expériences sur les agents autonomes.