Google testet globalen AI-Opt-out für Publisher nach UK-Anordnung und Cloudflare-Ultimatum

Google Alphabet Inc. ↘ 2.85% sieht sich einer wachsenden Revolte von Publishern, Regulierungsbehörden und Infrastrukturanbietern gegenüber. Grund ist die Praxis, einen einzigen Web-Crawler sowohl für die traditionelle Suche als auch für die eigenen AI-Produkte zu nutzen. Kritiker sehen in dieser Strategie einen unfairen Vorteil für das Unternehmen, während dem offenen Web die wirtschaftliche Grundlage entzogen wird.

Das Crawler-Problem

Der Googlebot durchsucht seit Jahren das Internet, um die Suchergebnisse zu speisen. Doch wie Bloomberg-Kolumnistin Parmy Olson am Montag berichtete, ist die Grenze zwischen Inhalten für die Suche und Inhalten zur Generierung von AI-Antworten verschwommen. Derselbe Bot versorgt nun sowohl die Google-Suche als auch das AI-Modell Gemini. Der Google-Crawler erfasst 3,2-mal mehr vom Web als der von OpenAI und 4,8-mal mehr als der von Microsoft ↘ 0.64% Corp., wie Cloudflare ↘ 1.09%-CEO Matthew Prince erklärt. Sein Unternehmen fungiert als Datennetzwerk für rund ein Fünftel des weltweiten Web-Traffics.bloomberg+2

Diese Bündelung stellt Publisher vor ein Dilemma: Das Blockieren des AI-Trainings bedeutet den Verlust der Sichtbarkeit in den Suchergebnissen, auf die sie für ihre Einnahmen angewiesen sind. "Menschen werden im Internet im Vergleich zu dem, was ihre Agenten und Bots tun, nur noch ein Rundungsfehler sein", sagte Prince. AI-Agenten erzeugen im Jahr 2026 laut Cloudflare-Daten mehr als 57 % des Web-Traffics, verglichen mit etwa 42 % durch Menschen. Das ist das erste Mal, dass die Aktivität von Maschinen die von Menschen im Internet übertrifft.tbsnews+1

Publisher spüren den Druck

Die Folgen sind bereits sichtbar. Die Mediengruppe Reach meldete einen Rückgang des Verweis-Traffics von Google um 50 %, da AI Overviews die Notwendigkeit verringern, auf die ursprünglichen Quellen zu klicken. Breitere Daten zeigen ein ähnliches Bild: Laut einer im Juni veröffentlichten Analyse von SparkToro führt weniger als ein Drittel der Google-Suchen zu einem Klick auf eine externe Website. Kleine Publisher haben laut Chartbeat-Daten über zwei Jahre hinweg bis zu 60 % ihres Such-Referral-Traffics verloren.searchengineland+1

Der Widerstand wächst

Zwei Kräfte drängen Google nun zum Umdenken. Im Juni ordnete die britische Wettbewerbsbehörde CMA an, dass Google Publishern ermöglichen muss, AI-Funktionen abzulehnen, während sie in den Suchergebnissen verbleiben. Dieser Schritt wurde von der BBC als "Weltpremiere" bezeichnet. Google bestätigte, dass diese Opt-out-Option nach Abschluss der Tests im Vereinigten Königreich weltweit getestet wird.www+3

Unterdessen stellte Cloudflare-Chef Prince ein Ultimatum: Ab dem 15. September wird das Unternehmen Crawler mit gemischtem Zweck auf werbefinanzierten Seiten standardmäßig blockieren. Dies könnte Google von Millionen von Websites abschneiden. Interne Google-Folien aus dem Jahr 2024, die im Rahmen eines US-Kartellverfahrens offenlegt wurden, zeigten, dass das Unternehmen vor dem Start von AI Overviews die Einführung einer Opt-out-Option erwogen hatte. Man entschied sich jedoch dagegen, da sich der Bereich zu einem "Raum für Monetarisierung" entwickelte.tbsnews+3

Google kontrolliert weiterhin etwa 90 % des Suchmarktes. Ob das Unternehmen seine Crawler vollständig trennen wird, anstatt von Publishern schlicht das Vertrauen in einen Schalter zu verlangen, bleibt die zentrale ungelöste Frage.