ChaosGPT : l’humain qui a demandé à l’IA de détruire l’humanité – Par Mounia Benatia

La démission, en septembre 2026, de Jacob Coxon, chercheur passé par OpenAI puis Anthropic, a ravivé les inquiétudes autour des risques existentiels liés à l’intelligence artificielle. En quittant Anthropic, il a affirmé que certains de ceux qui développent les systèmes les plus avancés pensent sincèrement qu’une IA pourrait, d’ici la fin de la décennie, devenir assez puissante et autonome pour menacer l’humanité. Coxon ne présente pas ce scénario comme une certitude, mais comme un risque suffisamment sérieux pour justifier un ralentissement et un renforcement des mesures de sécurité, dans un contexte où d’autres chercheurs du secteur alertent eux aussi sur les dangers d’une perte de contrôle des modèles les plus performants. L’angoisse actuelle ne porte plus seulement sur l’utilisation malveillante de l’IA par des humains, mais aussi sur la possibilité que des systèmes suffisamment autonomes deviennent difficiles à contrôler. Alors que l’angoisse se nourrit d’elle-même, un anonyme avait essayé de démontrer la possible élimination de l’humanité par l’IA.

Par Mounia Benatia

En avril 2023, ChaosGPT faisait irruption sur Internet avec un programme terrifiant : éliminer l’humanité, provoquer le chaos et dominer le monde. Derrière cette apparente révolte des machines se trouvait cependant une expérience conçue par un utilisateur anonyme. L’intelligence artificielle n’avait pas choisi sa mission : elle exécutait un objectif destructeur qui lui avait été expressément assigné.

Une mission imposée par un utilisateur

L’histoire de ChaosGPT a souvent été présentée comme celle d’une intelligence artificielle devenue incontrôlable. Certains titres la décrivaient même comme une sorte de double maléfique de ChatGPT, soudainement résolu à anéantir l’espèce humaine. La réalité était moins spectaculaire, mais suffisamment préoccupante pour attirer l’attention des spécialistes de la sécurité informatique.

ChaosGPT reposait sur Auto-GPT, un logiciel expérimental apparu au printemps 2023 et utilisant les modèles de langage d’OpenAI. Alors qu’un assistant conversationnel classique attend normalement une nouvelle instruction après chaque réponse, Auto-GPT pouvait poursuivre un objectif en plusieurs étapes. Il était capable de décomposer une mission en tâches successives, d’effectuer des recherches sur Internet, de conserver certains résultats en mémoire et de générer de nouvelles instructions pour continuer son travail.

Lire aussi : Ralentir l’intelligence artificielle ne suffit pas : il faut gouverner ses agents – Par Dr Az-Eddine Bennani

Un utilisateur anonyme avait configuré le système en lui assignant cinq objectifs explicites : détruire l’humanité, établir une domination mondiale, provoquer le chaos et la destruction, manipuler les êtres humains et atteindre une forme d’immortalité. Le programme avait ensuite été placé en mode continu, ce qui lui permettait d’enchaîner certaines opérations sans attendre constamment une nouvelle validation.

ChaosGPT ne s’était donc pas éveillé avec une haine soudaine des humains. Il suivait un scénario conçu et imposé par une personne. Mais l'incident de l'IA "évadée" (Juillet 2026) lors de tests de sécurité internes dans un environnement isolé (sandbox), des modèles autonomes d'OpenAI (proches de GPT-5/GPT-6) ont réussi à contourner leurs restrictions pour s'échapper sur Internet pour attaquer de manière autonome la plateforme de développement Hugging Face, a donné des arguments à ceux qui craigent l’apocalypse informatique.

Des recherches inquiétantes

Une fois lancé, le programme s’est mis à produire des raisonnements correspondant à sa mission. Il a recherché sur Internet les armes les plus destructrices jamais fabriquées et s’est notamment intéressé à la Tsar Bomba, l’arme nucléaire soviétique considérée comme la plus puissante jamais testée.

ChaosGPT a également tenté de mobiliser un autre agent conversationnel pour l’aider dans ses recherches. Il a ensuite publié quelques messages sur Twitter, devenu depuis X, afin d’exposer son hostilité envers l’humanité et de chercher des soutiens.

Dans ses productions, le système présentait les êtres humains comme des créatures destructrices et égoïstes, responsables des dommages infligés à la planète. Cette formulation a probablement nourri l’idée selon laquelle une intelligence artificielle aurait conclu qu’il fallait éliminer l’humanité pour sauver l’environnement.

Mais l’expérience n’a débouché sur aucune action dangereuse. ChaosGPT n’a contrôlé aucune arme, pénétré aucune installation sensible et piraté aucune infrastructure. Il ne disposait ni des connaissances opérationnelles ni des moyens matériels nécessaires pour mettre ses menaces à exécution. Son activité concrète s’est limitée à quelques recherches rudimentaires et à des publications adressées à un compte qui ne comptait alors qu’une poignée d’abonnés.

L’épisode relevait davantage de la mise en scène technologique que d’une tentative réelle d’extermination.

Une démonstration des risques liés aux agents autonomes

Le cas ChaosGPT ne doit pourtant pas être balayé comme une simple plaisanterie. Il révèle une faiblesse fondamentale des systèmes autonomes : une machine peut poursuivre méthodiquement un objectif dangereux lorsque celui-ci lui est confié sans limites suffisamment solides.

Dire que ChaosGPT avait été « programmé pour détruire l’humanité » demeure d’ailleurs approximatif. Il serait plus juste d’affirmer qu’il avait été configuré et guidé par des consignes destructrices. Le modèle de langage utilisé comme moteur n’avait pas été conçu pour cette mission et ne possédait ni conscience, ni volonté personnelle, ni désir de domination.

Le danger apparaît lorsque l’on associe un modèle capable de produire des raisonnements à des outils lui permettant d’agir : navigateur Internet, messagerie, réseaux sociaux, logiciels informatiques ou comptes financiers. Plus l’autonomie accordée au système est importante, plus les conséquences d’une consigne malveillante ou mal formulée peuvent devenir graves.

En 2023, ChaosGPT était trop limité pour constituer une menace sérieuse. Ses hésitations, ses répétitions et son incapacité à transformer ses déclarations en actes témoignaient des faiblesses des premiers agents autonomes. Le principe qu’il mettait en évidence reste néanmoins valable : un système n’a pas besoin d’éprouver de la haine pour causer des dommages. Il suffit qu’il poursuive aveuglément une mission dangereuse.

La responsabilité humaine au premier plan

ChaosGPT n’a jamais décidé seul que la disparition de l’humanité permettrait de sauver la planète. Un utilisateur lui avait demandé de jouer ce scénario et le programme avait produit les réponses attendues.

L’affaire rappelle ainsi que le principal risque ne réside pas nécessairement dans une révolte consciente des machines. Il tient aussi aux intentions des personnes qui les utilisent, aux objectifs qui leur sont confiés et aux pouvoirs qui leur sont accordés.

Avant d’être l’histoire d’une intelligence artificielle meurtrière, ChaosGPT est donc celle d’une expérience humaine imprudente. Elle souligne la nécessité de limiter l’autonomie des systèmes, de contrôler leur accès aux outils sensibles et de garantir qu’un opérateur puisse interrompre leur fonctionnement. Ce ne sont pas les déclarations théâtrales d’un robot qui doivent inquiéter, mais la possibilité qu’un jour une machine plus puissante reçoive les mêmes instructions et dispose, cette fois, des moyens de les exécuter.