Google, OpenAI, Microsoft och Anthropic backar AI-opt-out-regel

Fyra av de största AI-utvecklarna kommer att respektera en gemensam robots.txt-signal som låter webbplatser neka användningen av deras innehåll för träning av generativ AI. Utgivare behöver inte längre blockera varje företags crawler en och en. Google Alphabet Inc. ↘ 1.45%, OpenAI, Anthropic och Microsoft ↘ 1.55% förband sig på fredagen den 30 oktober att stödja en delad policy-token som föreslagits hos Internet Engineering Task Force, rapporterar The Verge, med hänvisning till tidigare rapportering från Search Engine Roundtable.theverge.com

Företagen kommer att aktivera funktionen vid olika tidpunkter. Anthropic har redan börjat stödja direktivet, Microsoft startar den 1 februari 2027, Google planerar att följa efter under början av 2027 och OpenAI har lovat att implementera det under de kommande månaderna, enligt Engadget.engadget.com

Hur signalen fungerar

Förslaget kommer från Kevin Kelley, teknisk chef för standarder hos Anthropic. Webbplatsägare lägger till en robots.txt-grupp med __usage_ai-training som användaragent, följt av Disallow-regler, och kan använda Allow-rader för att öppna specifika mappar, som till exempel ett presskit, för träning. Tokenet täcker endast träning. Det är inte ett direktiv för genomsökning och det ändrar inte sökindexering.engadget.com

I ett inlägg på OpenAIs webbplats kallar företaget det för en frivillig insats och säger att den nya signalen inte kommer att ersätta de kontroller vi redan tillhandahåller genom robots.txt. Googles John Mueller sa att webbplatser kommer att kunna använda en delad token för att ställa in breda preferenser hos deltagande AI-leverantörer. Han tillade att om en webbplats väljer bort med tokenet och inte nämner Google-Extended, kommer Google att behandla det som en blockering av Google-Extended, enligt Search Engine Land.openai.com+1

Microsoft lägger till kontrollfunktioner

Microsoft går längre än de andra tre. Bing kommer att erbjuda separata inställningar för AI-träning och AI-grounding, vilket täcker användningen av sidor för att generera AI-svar. Ett alternativ för begränsad grounding kommer att låta webbplatser stödja Microsofts egna AI-produkter samtidigt som de nekar dess tredjeparts-grounding-tjänster. Microsoft har också satt en tidslinje som sträcker sig från tillfälliga kontroller den 15 december 2026 till en deadline den 1 mars 2027 för webbplatser som fortfarande använder äldre NoArchive- eller NoCache-taggar. Enligt Bings blogg påverkar inget av dessa val kvalificeringen för vanliga sökresultat.seroundtable.com+1

Begränsningar med löftet

Direktivet kan inte ogöra tidigare insamling, eftersom innehåll som redan samlats in stannar hos företagen. Det stoppar heller inte crawlers från att hämta sidor, och efterlevnad förblir frivillig. Meta ↘ 1.53% säger att de stöder idén men har inte förbundit sig att implementera den. Själva utkastet är fortfarande ett pågående förslag från IETF:s arbetsgrupp för AI-preferenser snarare än en färdig standard.zglg.work+3