Cloudflare lance un outil pour bloquer l’entraînement des IA sans perdre en visibilité de recherche

Cloudflare ↘ 0.55% a déployé mardi de nouveaux outils permettant aux propriétaires de sites web d'empêcher les entreprises d'IA d'utiliser leur contenu pour l'entraînement, sans pour autant sacrifier leur visibilité dans les moteurs de recherche. Cela résout une tension qui pesait sur les éditeurs depuis que l'IA générative a bouleversé l'économie du web ouvert.

Une nouvelle catégorie de robots d'indexation

La fonctionnalité, baptisée Disallow AI Training, a été mise en ligne le 15 septembre parallèlement à une nouvelle désignation "Accountable" créée par Cloudflare après des semaines de discussions avec les principaux opérateurs de robots d'indexation. Apple ↗ 1.02%, Google Alphabet Inc. ↗ 1.62% et Microsoft ↗ 0.92% ont chacun obtenu le statut "Accountable" en répondant ou en s'engageant à respecter quatre exigences : une option de refus d'entraînement basée sur le fichier robots.txt, un mécanisme pour refuser les résumés par IA, une transparence au niveau de l'URL sur l'utilisation du contenu, et l'assurance que le refus de l'entraînement n'affectera pas le classement dans les recherches.cloudflare+1

Le système remplace l'ancien bouton "Block AI Bots" de Cloudflare par trois contrôles indépendants : Recherche, Entraînement et Agent, offrant aux opérateurs de sites une autorité granulaire sur chaque type de trafic automatisé. Avec Disallow AI Training, les robots d'indexation à usage mixte "Accountable" comme Googlebot, Applebot et Bingbot continuent d'indexer les pages pour la recherche, tandis que les robots d'entraînement dédiés d'Amazon, Anthropic, Meta et OpenAI sont purement et simplement bloqués.businesswire+2

"C'est ainsi que nous améliorons Internet : en préservant l'ouverture qui rend la recherche précieuse, tout en donnant aux personnes et aux entreprises derrière le web un contrôle significatif sur la manière dont leur travail est utilisé", a déclaré Matthew Prince, cofondateur et PDG de Cloudflare.businesswire

Ce qui change pour les propriétaires de sites web

Les clients existants qui avaient précédemment sélectionné "Bloquer" ou "Bloquer sur les pages avec publicités" pour l'entraînement seront automatiquement migrés vers Disallow AI Training, et Cloudflare précise que la plupart des propriétaires de sites n'ont aucune action à entreprendre. Les nouveaux domaines monétisés par la publicité autoriseront par défaut la recherche tout en interdisant l'entraînement et en bloquant les agents sur les pages contenant des publicités.gulfnews+3

L'effet pratique varie selon le moteur de recherche. Chez Google, le paramètre fonctionne via une règle Disallow pour Google-Extended, qui, selon la documentation de Google, n'affecte pas le classement dans les recherches. Chez Apple, une directive parallèle Applebot-Extended remplit la même fonction. Le moteur Bing de Microsoft ne prend pas encore en charge une préférence de refus d'entraînement dans le fichier robots.txt ; cette capacité est prévue pour début 2027, et en attendant, la balise méta NOARCHIVE existante reste l'option de refus d'entraînement pour Bing.searchenginejournal+1

Les résumés par IA sont la prochaine étape

Cloudflare a présenté ce lancement comme la première étape d'une campagne plus large. Les robots d'indexation à usage mixte représentaient 36,6 % du trafic vérifié sur son réseau, soit la catégorie la plus importante, pourtant seuls 17 % des sites restreignaient l'entraînement tandis que moins de 1 % bloquaient la recherche. L'entreprise a indiqué que son prochain objectif concerne les résumés par IA, où une option binaire d'acceptation ou de refus est "trop simpliste". D'ici le début de l'année prochaine, Cloudflare vise à permettre aux éditeurs de contrôler la part de leur contenu apparaissant dans les réponses générées par IA, avec un réglage unique sur sa plateforme plutôt que par opérateur individuel.cloudflare+1