Webcrawler

Cloudflare blockiert KI-Bots auf Millionen Websites standardmäßig

Cloudflare hat am Dienstag neue Standardregeln in Kraft gesetzt, die KI-Trainings- und Agenten-Bots auf Millionen von Websites automatisch blockieren. Dies markiert einen der bislang größten Wandel in der Art und Weise, wie Verlage ihre Beziehung zur KI-Branche gestalten.

Google testet globalen AI-Opt-out für Publisher nach UK-Anordnung und Cloudflare-Ultimatum

Google Alphabet Inc. sieht sich einer wachsenden Revolte von Publishern, Regulierungsbehörden und Infrastrukturanbietern gegenüber. Grund ist die Praxis, einen einzigen Web-Crawler sowohl für die traditionelle Suche als auch für die eigenen AI-Produkte zu nutzen. Kritiker sehen in dieser Strategie einen…