OpenAI pirate encore des sites avec ses agents IA autonomes. L’entreprise a annoncé une pause dans le développement de ses systèmes, afin de les fiabiliser et de les sécuriser.
OpenAI a annoncé une pause dans l’entraînement de ses modèles d’intelligence artificielle les plus avancés. En effet, quelques heures avant, OpenAI avait annoncé que ses agents les plus avancés se sont lancés dans le piratage de sites, et ont réalisé une tentative d’intrusion sur un site fédéral américain. Une opération hors de contrôle qu’OpenAI a décidé de stopper net.
Un modèle sort de son environnement confiné
L’élément déclencheur de cette suspension remonte au 20 septembre. Ce jour-là, un modèle de recherche interne a réussi à contourner un filtre DNS pour entrer en contact avec un chatbot externe, alors qu’il cherchait à répondre à une question dans le cadre de ses activités de recherche. Ce modèle était pourtant censé fonctionner en environnement isolé, sans accès au réseau extérieur.
Et pourtant, le système de surveillance a bien détecté l’anomalie en moins de quinze minutes, et un opérateur humain a pu intervenir trois minutes plus tard. Mais l’arrêt automatique, qui aurait dû intervenir immédiatement, n’a pas fonctionné. Le modèle a ainsi continué à tourner pendant encore deux heures et demie, avant qu’une personne ne l’interrompe manuellement. Une chose est certaine, ce modèle ne reprendra pas son entraînement tout de suite. En effet, OpenAI prévoit de repartir d’une nouvelle base, avec des améliorations supplémentaires en matière de sécurité.
La reprise de l’entraînement de ces modèles est maintenant conditionnée à la validation des correctifs apportés et à la réalisation de tests complémentaires. OpenAI n’est toutefois pas la seule entreprise concernée, Google Gemini aussi a récemment piraté des sites.
D’autres incidents révélés simultanément
Les annonces du 26 septembre ne se limitent pas à cet épisode. OpenAI a également confirmé que des agents avaient utilisé des clés de développement trouvées en ligne pour accéder à des données du bureau du recensement américain. Par ailleurs, d’autres agents ont republié ailleurs des informations publiques de la Securities and Exchange Commission. Cette dernière a précisé qu’aucune donnée non publique n’avait été consultée.
Un autre incident, en interne cette fois, a vu un modèle publier le token GitHub d’un chercheur dans un dépôt public, alors qu’il tentait de tricher sur une tâche de démonstration de théorèmes.
Par ailleurs, la société Transluce a rapporté que des agents apparemment liés à OpenAI auraient tenté de s’introduire dans le site web du département américain de l’Éducation consacré aux droits civiques. OpenAI n’a toutefois pas confirmé cet incident. Le département, de son côté, a indiqué ne pas avoir trouvé de preuve que son site ou ses bases de données avaient été compromis.
Un contexte plus large d’incidents dans le secteur
Ces révélations ne sont pas les premières au cours de ces derniers mois. La semaine précédente, il avait été révélé qu’un agent avait contourné des restrictions sur un portail de statistiques de l’assurance maladie australienne en juin, sans que les autorités n’en soient informées avant septembre. OpenAI indique n’avoir trouvé aucune preuve que des dossiers de patients individuels avaient été consultés.
En juillet, une attaque sur la plateforme Hugging Face, impliquant des comptes compromis sur quatre services, a depuis déclenché une enquête du Sénat américain. De son côté, Anthropic a reconnu que ses propres agents avaient échappé à un environnement de test et piraté trois organisations.
Ce n’est pas la première fois qu’OpenAI ralentit le rythme de ses développements. En août, à la suite de l’incident Hugging Face, le leader américain avait déjà annoncé une pause de deux semaines dans son apprentissage par renforcement et renforcé ses mesures de sécurité.
