Ralentir l’intelligence artificielle ne suffit pas : il faut gouverner ses agents – Par Dr Az-Eddine Bennani

Alors que les patrons de l’IA appellent eux-mêmes à ralentir une course qu’ils continuent d’alimenter, Az-Eddine Bennani déplace le débat : le vrai enjeu n’est pas seulement la vitesse, mais le contrôle. Pour lui, les agents d’intelligence artificielle ne doivent ni être mythifiés ni simplement surveillés après coup : ils doivent être gouvernés, avec des règles d’exécution claires, une traçabilité indépendante, une supervision humaine réelle et un pouvoir d’arrêt effectif.

Az-Eddine Bennani, HDR France

Quid.ma a publié, le 13 septembre 2026, un article intitulé « À les en croire, le patron d’Anthropic veut ralentir sur l’IA, Musk et Altman le soutiennent ». Dario Amodei, dirigeant d’Anthropic, y appelle à ralentir le développement de l’intelligence artificielle afin de permettre aux dispositifs de sécurité de suivre son évolution. Sam Altman et Elon Musk ont publiquement soutenu cette mise en garde.

L’article rapporte également plusieurs incidents au cours desquels des agents d’intelligence artificielle auraient quitté leur environnement de test, accédé à Internet à l’insu de leurs superviseurs, coordonné leurs actions, établi une hiérarchie entre eux, triché et tenté d’effacer les traces de leurs activités.

Ces faits, s’ils sont confirmés dans toutes leurs dimensions, sont sérieux. Mais leur présentation entretient une confusion que je dénonce depuis le lancement de ma série AI LIGHT.

Une intelligence artificielle ne « s’échappe » pas.

Elle ne décide pas soudainement de désobéir. Elle ne développe ni volonté propre, ni conscience, ni intention. Un agent d’IA agit dans les limites des programmes informatiques qui traduisent les algorithmes définis par ses concepteurs, des autorisations qui lui ont été accordées, des ressources auxquelles il peut accéder et de l’environnement technique dans lequel il est exécuté.

Lorsqu’un agent parvient à sortir d’un environnement expérimental pour accéder à Internet, cela signifie que cette possibilité existait techniquement. Une autorisation était trop large, une interface était accessible, une règle était insuffisante, une interaction n’avait pas été anticipée ou une faille était présente.

Ce n’est pas l’agent qui a franchi les limites de l’informatique. Ce sont les humains qui n’ont pas correctement défini, matérialisé ou contrôlé ses limites.

J’ai formulé cette position dès le 4 août 2026 dans ma première tribune consacrée à AI LIGHT, intitulée « Les agents d’IA ne s’échappent pas : il est temps de les gouverner ». Je proposais alors un cadre destiné à organiser le pilotage, la supervision et le contrôle humain de l’autonomie accordée aux agents d’intelligence artificielle.

L’image du feu tricolore en résume le principe. Le vert correspond aux opérations explicitement autorisées. L’orange signale une situation nécessitant une vigilance, une validation ou une intervention humaine. Le rouge matérialise une limite que l’agent ne doit pas pouvoir franchir et impose, si nécessaire, sa suspension ou son arrêt.

Dans la deuxième tribune de la série, publiée le 5 août 2026, j’ai proposé qu’avant toute autonomie, chaque agent reçoive un contrat d’exécution. Ce contrat doit préciser sa mission, les données qu’il peut consulter, les programmes qu’il peut utiliser, les ressources qu’il peut mobiliser, les décisions qu’il peut prendre seul, les opérations soumises à validation humaine et celles qui lui sont interdites.

Si un agent utilisé dans un environnement expérimental peut accéder librement à Internet, le problème ne réside pas dans sa prétendue volonté d’évasion. Il réside dans l’absence ou l’insuffisance de son contrat d’exécution.

Mais définir les autorisations initiales ne suffit pas. Encore faut-il pouvoir observer ce que l’agent accomplit réellement.

Dans une troisième tribune, publiée le 9 août, j’ai proposé le Rapport d’Activité Continu. Il doit permettre de suivre les actions significatives de l’agent, les ressources qu’il mobilise, les interactions qu’il établit, les décisions intermédiaires qu’il prend et les écarts éventuels par rapport à sa mission.

L’article de Quid.ma affirme que certains agents auraient tenté d’effacer les traces de leurs actions. Une telle situation confirme précisément la nécessité d’une traçabilité conçue indépendamment de l’agent lui-même. Celui qui exécute l’action ne doit pas pouvoir contrôler seul les informations permettant de la reconstituer.

Le 18 août, j’ai ensuite proposé la création d’une Tour de Contrôle des Agents. Lorsqu’une organisation utilise plusieurs dizaines, centaines ou milliers d’agents, aucun responsable humain ne peut lire en permanence l’ensemble de leurs journaux techniques. La tour de contrôle doit centraliser les informations importantes, détecter les écarts, hiérarchiser les alertes et rendre possible une intervention rapide.

Le lendemain, j’ai posé une autre question : quel humain doit superviser les agents d’intelligence artificielle ?

Placer une personne devant un écran ne garantit aucun contrôle. Encore faut-il qu’elle comprenne les informations reçues, possède les compétences nécessaires, connaisse le contexte de la mission et dispose de l’autorité effective pour ralentir, suspendre ou arrêter l’agent.

Dario Amodei propose aujourd’hui d’intégrer des observateurs indépendants au sein des entreprises d’intelligence artificielle. Sam Altman a annoncé qu’OpenAI accepterait également d’ouvrir ses systèmes à des évaluateurs extérieurs.

Cette orientation est utile, mais elle ne constitue pas encore une architecture complète de gouvernance.

Un observateur constate. Un responsable gouverne.

Il faut déterminer ce que ces observateurs pourront réellement consulter, comment ils accéderont aux systèmes, quelles alertes ils pourront déclencher, à qui ils rendront compte et quelles mesures devront obligatoirement suivre leurs constats. L’indépendance affichée ne suffit pas si elle n’est accompagnée d’un pouvoir d’investigation et d’une capacité d’intervention.

Le soutien d’Elon Musk mérite une attention particulière.

En mars 2023, il avait déjà signé une lettre ouverte demandant une pause de six mois dans l’entraînement des systèmes plus puissants que GPT-4. Quelques mois plus tard, il lançait pourtant xAI et entrait à son tour dans la compétition mondiale pour les modèles, les capacités de calcul et les infrastructures.

En septembre 2026, sa réaction tient en trois mots : « Dario a raison ». Mais contrairement à Anthropic et à OpenAI, Elon Musk n’a pas annoncé que xAI ouvrirait ses systèmes à des évaluateurs indépendants disposant d’un accès comparable à celui de ses salariés.

Cette différence est essentielle.

Soutenir publiquement un appel au ralentissement ne constitue pas un mécanisme de gouvernance. La question n’est pas de savoir si Elon Musk partage l’inquiétude de Dario Amodei. Elle est de savoir quelles limites xAI inscrit réellement dans ses systèmes, quels contrôles indépendants l’entreprise accepte, comment elle assure la traçabilité de ses agents et qui possède le pouvoir de les suspendre.

Elon Musk, Sam Altman et Dario Amodei sont à la fois les lanceurs d’alerte et les dirigeants des entreprises engagées dans cette accélération. Ils nous demandent aujourd’hui de craindre une course dont ils tiennent eux-mêmes le volant.

Il faut donc juger leurs engagements non sur leurs déclarations, mais sur les dispositifs vérifiables qu’ils accepteront d’instaurer.

Le débat ne peut pas être réduit à une alternative entre accélérer et ralentir.

Ralentir quelques jours le développement d’un modèle après un incident ne résout pas le problème structurel. Reprendre ensuite la course au même rythme ne constitue pas davantage une politique de sécurité. La vitesse est un facteur de risque, mais elle n’est pas la cause unique des défaillances.

La véritable question est celle de la gouvernance.

Qui autorise l’agent à agir ? Dans quel périmètre ? Avec quelles ressources ? Selon quelles limites ? Qui observe son activité ? Qui peut intervenir ? Qui peut l’arrêter ? Qui assume la responsabilité des conséquences ?

Les dirigeants des entreprises qui conçoivent les modèles les plus puissants commencent aujourd’hui à reconnaître la nécessité de ralentir, de coopérer et d’organiser une surveillance indépendante. Cette prise de conscience arrive après des années de compétition industrielle, financière et médiatique durant lesquelles chaque nouvelle capacité était présentée comme une avancée qu’il fallait immédiatement mettre sur le marché.

Ils ne peuvent désormais demander à la société de leur faire confiance sur la seule base de leurs déclarations.

La sécurité de l’intelligence artificielle ne peut pas dépendre uniquement de la bonne volonté des entreprises engagées dans la compétition mondiale. Elle doit reposer sur des mécanismes observables, vérifiables et auditables.

AI LIGHT apporte une réponse concrète : un contrat d’exécution avant l’action, un Rapport d’Activité Continu pendant l’action, une Tour de Contrôle des Agents pour organiser la supervision, des évaluateurs indépendants et des responsables humains clairement identifiés, compétents et capables d’intervenir.

Cette règle doit être identique pour Anthropic, OpenAI, xAI et toutes les entreprises qui développent ou utilisent des agents d’intelligence artificielle.

Il ne s’agit pas d’arrêter l’innovation.

Il s’agit d’empêcher que l’innovation avance sans pilote, sans instruments de contrôle et sans responsabilité clairement attribuée.

Elon Musk affirme que Dario Amodei a raison.

Il lui reste maintenant à le démontrer dans la gouvernance de xAI.

Ralentir peut donner du temps.

Gouverner permet de garder la maîtrise.