Newsletter Subscribe
Enter your email address below and subscribe to our newsletter
[forminator_form id="25163"]

cloudflare+1cloudflarecloudflareCloudflare hat am Dienstag neue Tools eingeführt, mit denen Website-Betreiber KI-Unternehmen daran hindern können, ihre Inhalte für das Training zu nutzen, ohne die Sichtbarkeit in Suchmaschinen zu opfern. Dies löst einen Konflikt, der Publisher belastet hat, seit generative KI die Ökonomie des offenen Webs verändert hat.
Die Funktion namens Disallow AI Training wurde am 15. September zusammen mit einer neuen "Accountable"-Kennzeichnung gestartet, die Cloudflare nach wochenlangen Gesprächen mit großen Crawler-Betreibern entwickelt hat. Apple , Google Alphabet Inc. und Microsoft qualifizierten sich als "Accountable", indem sie vier Anforderungen erfüllten oder sich dazu verpflichteten: ein robots.txt-basiertes Opt-out für Training, einen Mechanismus zum Ablehnen von KI-Zusammenfassungen, Transparenz auf URL-Ebene über die Nutzung von Inhalten sowie die Zusicherung, dass die Verweigerung des Trainings das Suchranking nicht beeinträchtigt.cloudflare+1
Das System ersetzt Cloudflares älteren "Block AI Bots"-Schalter durch drei unabhängige Kontrollen: Search, Training und Agent. Dies gibt Website-Betreibern eine granulare Kontrolle über jede Art von automatisiertem Datenverkehr. Unter Disallow AI Training indexieren "Accountable"-Crawler wie Googlebot, Applebot und Bingbot weiterhin Seiten für die Suche, während dedizierte Trainings-Crawler von Amazon, Anthropic, Meta und OpenAI direkt blockiert werden.businesswire+2
"So machen wir das Internet besser: Wir bewahren die Offenheit, die die Suche wertvoll macht, und geben gleichzeitig den Menschen und Unternehmen hinter dem Web eine sinnvolle Kontrolle darüber, wie ihre Arbeit genutzt wird", sagte Matthew Prince, Mitgründer und CEO von Cloudflare.businesswire
Bestehende Kunden, die zuvor "Block" oder "Block on pages with ads" für das Training gewählt hatten, werden automatisch auf Disallow AI Training umgestellt. Cloudflare gibt an, dass die meisten Website-Betreiber keine weiteren Maßnahmen ergreifen müssen. Neue Domains, die Werbung schalten, erlauben standardmäßig die Suche, untersagen jedoch das Training und blockieren Agenten auf Seiten mit Werbung.gulfnews+3
Die praktische Auswirkung variiert je nach Suchmaschine. Bei Google funktioniert die Einstellung über eine Disallow-Regel für Google-Extended, die laut Googles Dokumentation das Suchranking nicht beeinflusst. Bei Apple erfüllt eine parallele Applebot-Extended-Direktive dieselbe Funktion. Microsofts Bing unterstützt derzeit noch keine robots.txt-Präferenz für das Training; diese Funktion ist für Anfang 2027 geplant. In der Zwischenzeit bleibt das bestehende NOARCHIVE-Meta-Tag Bings Methode für das Trainings-Opt-out.searchenginejournal+1
Cloudflare bezeichnete den Start als ersten Schritt einer breiteren Kampagne. Gemischte Crawler machten 36,6 Prozent des verifizierten Crawler-Traffics in ihrem Netzwerk aus, doch nur 17 Prozent der Websites schränkten das Training ein, während weniger als 1 Prozent die Suche blockierten. Das Unternehmen erklärte, der nächste Fokus liege auf KI-Zusammenfassungen, bei denen ein einfaches Ein- oder Ausschalten zu grob sei. Bis Anfang nächsten Jahres will Cloudflare Publishern ermöglichen, zu steuern, wie viel ihrer Inhalte in KI-generierten Antworten erscheinen, wobei dies einmalig auf der Plattform eingestellt wird, anstatt bei jedem Betreiber einzeln.cloudflare+1