Google, OpenAI, Microsoft og Anthropic støtter felles regel for AI-reservasjon

Fire av de største AI-utviklerne vil nå respektere et felles robots.txt-signal som lar nettsteder nekte bruk av innholdet sitt til trening av generativ AI. Utgivere trenger ikke lenger å blokkere hver enkelt selskaps crawler hver for seg. Google Alphabet Inc. ↘ 1.45%, OpenAI, Anthropic og Microsoft ↘ 1.55% forpliktet seg fredag 30. oktober til å støtte et delt policy-token foreslått hos Internet Engineering Task Force, melder The Verge, med henvisning til tidligere rapportering fra Search Engine Roundtable.theverge.com

Selskapene vil aktivere dette til ulike tider. Anthropic har allerede begynt å støtte direktivet, Microsoft starter 1. februar 2027, Google planlegger å følge etter tidlig i 2027, og OpenAI har lovet å implementere det i løpet av de kommende månedene, ifølge Engadget.engadget.com

Hvordan signalet fungerer

Forslaget kommer fra Kevin Kelley, teknisk leder for standarder hos Anthropic. Nettstedseiere legger til en robots.txt-gruppe med __usage_ai-training som brukeragent, etterfulgt av Disallow-regler, og kan bruke Allow-linjer for å åpne spesifikke mapper, som for eksempel en pressepakke, for trening. Tokenet dekker kun trening. Det er ikke et direktiv for indeksering, og det endrer ikke søkeindeksering.engadget.com

I et innlegg på OpenAIs nettside beskriver selskapet det som en frivillig innsats og uttaler at det nye signalet ikke vil erstatte kontrollene vi allerede tilbyr gjennom robots.txt. Googles John Mueller sa at nettsteder vil kunne bruke et delt token for å sette brede preferanser på tvers av deltakende AI-leverandører. Han la til at hvis et nettsted reserverer seg med tokenet og ikke nevner Google-Extended, vil Google behandle det som en blokkering av Google-Extended, ifølge Search Engine Land.openai.com+1

Microsoft legger til kontrollmuligheter

Microsoft går lenger enn de tre andre. Bing vil tilby separate innstillinger for AI-trening og AI-grounding, som dekker bruken av sider for å generere AI-svar. Et alternativ for begrenset grounding vil la nettsteder støtte Microsofts egne AI-produkter, samtidig som de nekter tredjeparts grounding-tjenester. Microsoft har også satt en tidslinje som strekker seg fra midlertidige kontroller 15. desember 2026, til en frist 1. mars 2027 for nettsteder som fortsatt bruker eldre NoArchive- eller NoCache-tagger. Ifølge Bings blogg påvirker ingen av disse valgene kvalifiseringen for vanlige søkeresultater.seroundtable.com+1

Begrensninger ved løftet

Direktivet kan ikke omgjøre tidligere innsamling, ettersom innhold som allerede er hentet inn, forblir hos selskapene. Det stopper heller ikke crawlere fra å hente sider, og etterlevelse forblir frivillig. Meta ↘ 1.53% sier at de støtter ideen, men har ikke forpliktet seg til å implementere den. Selve utkastet er fortsatt et pågående forslag fra IETFs arbeidsgruppe for AI-preferanser, snarere enn en ferdig standard.zglg.work+3