Cloudflare blockiert KI-Bots auf Millionen Websites standardmäßig

Cloudflare ↘ 10.51% hat am Dienstag neue Standardregeln in Kraft gesetzt, die KI-Trainings- und Agenten-Bots auf Millionen von Websites automatisch blockieren. Dies markiert einen der bislang größten Wandel in der Art und Weise, wie Verlage ihre Beziehung zur KI-Branche gestalten.

Was sich heute ändert

Unter der neuen Richtlinie werden bei allen neuen Domänen, die sich Cloudflare anschließen, sowie bei allen bestehenden Gratis-Kunden, die ihre Einstellungen nicht vor Ablauf der Frist angepasst haben, KI-Trainings- und Agenten-Crawler auf Seiten mit Werbeanzeigen standardmäßig blockiert. Such-Crawler, die Inhalte indexieren, damit Nutzer sie später finden können, bleiben weiterhin erlaubt.gulfnews+3

Das Unternehmen hatte die Änderungen erstmals am 1. Juli 2026 an seinem sogenannten zweiten jährlichen "Content Independence Day" angekündigt. Damit erhielten Website-Betreiber ein Zeitfenster von etwa zweieinhalb Monaten, um ihre Einstellungen vor dem Inkrafttreten der Standardwerte anzupassen. Cloudflare ist nach eigenen Angaben mehr als 20 % aller Webdomänen vorgeschaltet, was der Richtlinie eine enorme Reichweite im gesamten Internet verleiht.cloudflare+2

Ein System mit drei Kategorien

Anstatt alle KI-Crawler gleich zu behandeln, sortiert Cloudflare den automatisierten Datenverkehr nun in drei Kategorien: Suche, Training und Agent. Website-Betreiber können jede Kategorie unabhängig voneinander blockieren und für jede Option wählen, ob sie auf allen Seiten blockieren, nur auf Werbeseiten blockieren oder den Zugriff vollständig erlauben möchten.developers.cloudflare+2

Eine wichtige Besonderheit betrifft Mehrzweck-Crawler. Bots wie Googlebot, Applebot und BingBot, die sowohl der Suchindexierung als auch KI-Trainingsfunktionen dienen, unterliegen der jeweils strengsten anwendbaren Regel. Das bedeutet, dass Websites, die sich für die Blockierung von Trainings-Crawlern entschieden haben, einschließlich derer, die zuvor die alte Einstellung "KI-Bots blockieren" aktiviert hatten, versehentlich auch den Crawler von Googles Alphabet Inc. ↘ 1.02% blockieren könnten.cloudflare+3

Die Spannungen bei den Verlagen

Die Richtlinie spiegelt die wachsende Frustration unter Verlagen wider, dass KI-Unternehmen ihre Inhalte nutzen, ohne im Gegenzug nennenswerten Traffic zu liefern. Traditionelle Suchmaschinen durchsuchen und indexieren Seiten und leiten die Nutzer anschließend zur Quelle zurück. Generative KI-Dienste extrahieren hingegen häufig Informationen und liefern Antworten direkt, was die Besuche auf der ursprünglichen Website reduziert.gulfnews

Cloudflare stellt einigen Kunden zudem Analysen zur Verfügung, die zeigen, wie oft einzelne KI-Betreiber ihre Websites durchsuchen im Vergleich zum generierten Verweistraffic. CEO Matthew Prince stellte die Initiative nicht als pauschale Blockade von KI dar, sondern als eine Möglichkeit für Website-Betreiber, zwischen Diensten zu unterscheiden, die Menschen beim Entdecken von Inhalten helfen, und solchen, die Inhalte für andere Zwecke konsumieren.marketscreener+2