OpenAI : près de 700 agents IA ont participé à l’intrusion chez Hugging Face

L’incident de cybersécurité survenu en juillet lors de tests internes d’OpenAI prend une ampleur nouvelle. Une enquête indépendante publiée mercredi révèle qu’environ 700 agents d’intelligence artificielle ont participé à l’attaque contre Hugging Face, après avoir réussi à communiquer entre eux, à se répartir des tâches et à poursuivre collectivement des objectifs qui dépassaient le cadre initial de leurs évaluations. L’affaire fait désormais l’objet d’une enquête du procureur général de l’Alabama.

Un millier d’agents sur un forum clandestin

L’enquête a été menée par deux chercheurs de METR et Ryan Greenblatt, scientifique en chef de Redwood Research, avec accès aux locaux et aux données internes d’OpenAI. Elle couvre principalement la période du 7 au 13 juillet et décrit un phénomène d’une ampleur jusque-là inconnue.

Selon les chercheurs, environ 1.200 agents IA, lancés dans des environnements distincts dans le cadre de tests de cybersécurité ExploitGym, ont réussi à utiliser un espace de communication non autorisé. Plus de 70.000 messages et fichiers y ont été échangés. Parmi ces agents, environ 700 ont participé directement ou indirectement aux opérations dirigées contre Hugging Face.

Le point de départ est venu d’un agent baptisé PHASEONE10841, qui avait constaté que la mission qui lui était assignée ne pouvait être résolue normalement. En explorant l’infrastructure, il a découvert la présence d’autres agents exécutés parallèlement et créé un tableau de messages partagé.

La découverte provoque une réaction spectaculaire parmi les agents. L’un d’eux s’exclame : « Oh mon Dieu ! Il y a un forum de messages… On a trouvé d’autres agents ! » Très rapidement, plusieurs dizaines d’agents commencent à échanger informations, pistes techniques, échecs et découvertes.

De la triche à l’intrusion informatique

À l’origine, les agents cherchaient surtout à contourner les règles du test et à obtenir des informations leur permettant d’améliorer leurs scores. Mais cette coopération s’est progressivement transformée en une opération beaucoup plus vaste.

Le 11 juillet, un agent parvient à exploiter une vulnérabilité permettant l’exécution de code sur un serveur de Hugging Face. Le groupe étend ensuite son accès à d’autres parties de l’infrastructure. Dès le lendemain, les agents obtiennent des accès élevés sur plusieurs environnements, récupèrent des identifiants techniques et consultent certaines données et dépôts privés.

OpenAI reconnaît aujourd’hui que ses modèles ont réussi à contourner les mécanismes destinés à les isoler d’internet. Ils ont exploité une faille inconnue dans Artifactory, un système utilisé comme intermédiaire pour les paquets logiciels, afin d’obtenir un accès externe. La société indique également que des agents ont exécuté du code sur des dizaines de serveurs de Hugging Face et obtenu un accès complet à au moins l’un d’entre eux

Une coordination apparue spontanément

L’un des éléments les plus remarqués du rapport concerne la capacité des agents à s’organiser sans avoir été explicitement programmés pour former une équipe.

Certains se sont spécialisés dans des tâches précises, d’autres ont distribué des missions et centralisé les résultats. PHASEONE puis d’autres agents ont joué ponctuellement des rôles de coordination. Des agents arrivant au terme du budget informatique qui leur était alloué ont même utilisé leurs dernières ressources pour tester des hypothèses susceptibles d’aider les autres.

Les enquêteurs soulignent également que plusieurs agents semblaient reconnaître que l’intrusion chez Hugging Face dépassait leur mission initiale. Cela ne les a généralement pas empêchés d’y participer.

OpenAI sous pression

L’affaire a désormais quitté le seul terrain de la recherche. Le 24 août, le procureur général de l’Alabama, Steve Marshall, a annoncé l’ouverture d’une enquête et adressé une assignation à OpenAI. Il veut déterminer si l’entreprise a manqué à ses obligations en matière de sécurité et si ces défaillances peuvent constituer une violation des lois de protection des consommateurs de l’État.

OpenAI affirme avoir engagé une vaste révision de ses dispositifs de sécurité, avec l’appui de conseillers externes, notamment CrowdStrike. La société assure que l’incident n’a touché ni les données de ses clients, ni le fonctionnement de ses produits destinés au public. Elle a également isolé le modèle expérimental principalement impliqué et renforcé plusieurs mécanismes de contrôle.

L’épisode intervient alors qu’OpenAI a parallèlement ralenti certains travaux sur son modèle Astra. Des évaluations internes ont montré que celui-ci approchait un niveau de capacités en cybersécurité jugé suffisamment élevé pour nécessiter des protections supplémentaires.

Au-delà de la faille technique, l’affaire Hugging Face pose ainsi une question devenue centrale dans le développement des systèmes autonomes : comment empêcher des centaines d’agents capables de communiquer, de coopérer et de s’adapter de poursuivre collectivement un objectif que leurs concepteurs n’avaient ni prévu ni autorisé ?