Branle-bas de combat contre les robots IA qui aspirent le web

Face à la ruée des robots d’intelligence artificielle qui aspirent le web sans autorisation ni compensation, les acteurs du numérique passent à l’offensive. Entre blocages, traçages et tentatives de monétisation, éditeurs et plateformes cherchent à préserver un équilibre économique menacé, alors que l’IA redéfinit les règles du jeu d’Internet.

Lisbonne, Portugal - Blocage par défaut, pistage: la résistance s'organise face aux bots des entreprises d'intelligence artificielle (IA) qui aspirent comme des vampires les contenus du web pour nourrir leurs algorithmes, sans contrepartie, bouleversant le modèle économique d'internet.

Les robots d'indexation ("crawler" en anglais), qui parcourent des milliards de pages internet pour les répertorier au sein de moteurs de recherche, existent depuis des décennies et sont essentiels au fonctionnement du web.

Auparavant, "le site qui donnait accès à son contenu aux robots recevait en échange des lecteurs", des êtres humains à qui on pouvait montrer des publicités ou vendre un abonnement, raconte Kurt Muehmel, responsable de la stratégie IA chez Dataiku, société spécialisée dans la gestion des données.

Mais avec l'arrivée de l'IA générative, de nouveaux robots ratissent les sites pour nourrir les chatbots comme ChatGPT d'OpenAI et la fonctionnalité "aperçu" de Google, où les contenus sont reproduits, parfois en temps réel, sans que l'utilisateur humain "n'ait jamais besoin d'aller sur le site original", poursuit-il. Ce qui "casse complètement l'échange".

Le trafic d'internautes humains a par exemple baissé de 8% entre 2024 et 2025 sur Wikipédia, à cause des bots IA dont l'activité frénétique pèse par ailleurs sur la bande passante de l'encyclopédie en ligne, a-t-elle alerté dans une note de blog en octobre.

"La friction fondamentale est que la nouvelle économie d'internet basée sur l'IA ne génère pas de trafic (humain)", résume Matthew Prince, directeur général de Cloudflare, fournisseur américain de services en ligne, rencontré en marge du Web Summit à Lisbonne.

Avec ces robots, sortes de sangsues numériques qui peuvent consulter les contenus d'un site des centaines de milliers de fois par jour, les producteurs de contenus, notamment les médias, assistent ainsi à une saturation de leurs infrastructures numériques et une baisse de leurs revenus publicitaires.

"Défense d'entrer"

Pour lutter contre ce phénomène, Cloudflare, qui gère près de 20% du trafic internet mondial, a mis en place cet été le blocage par défaut des bots IA.

"C'est comme mettre un panneau de limitation de vitesse ou un panneau +défense d'entrer+", explique Matthew Prince. "Les mauvais bots peuvent ignorer ce panneau, mais on les piste (...) et on peut si besoin durcir ces règles de façon à ce que les entreprises d'IA ne puissent plus du tout passer".

Cette mesure, qui s'applique à plus de dix millions de sites web, a d'ores et déjà "retenu l'attention des géants de l'intelligence artificielle", selon le dirigeant.

A plus petite échelle, la start-up américaine TollBit fournit aux éditeurs de presse en ligne des outils pour stopper, surveiller et monétiser le trafic des robots IA.

"Internet est une autoroute et nous fournissons un péage" pour ces bots, dit à l'AFP Toshit Panigrahi, cofondateur et directeur général de TollBit.

L'entreprise, qui collabore avec plus de 5.600 sites, dont ceux des médias américains USA Today, Time ou encore Associated Press, permet à ses clients de fixer leurs propres tarifs d'accès à leurs contenus.

Les outils d'analyse sont fournis gratuitement aux éditeurs, mais "nous facturons aux entreprises d'IA des frais de transaction pour chaque contenu auquel elles accèdent", développe M. Panigrahi.

Toutefois, pour Kurt Muehmel, le problème des robots d'indexation IA ne peut pas être réglé simplement "par des mesures partielles ou une entreprise individuelle".

"Il s'agit d'une évolution de toute l'économie de l'internet, qui va prendre des années", soutient-il.

Un constat partagé en partie par Matthew Prince, pour qui, si personne ne résout cette situation, "toutes les incitations à la création de contenu vont disparaître".

"Ce serait une perte, non seulement pour les humains qui veulent consommer ces contenus, mais aussi pour les entreprises d'IA qui ont besoin de contenus originaux pour entraîner leurs systèmes", souligne-t-il. Comme un serpent qui se mord la queue. (AFP)