Anthropic ber om ursäkt för att i hemlighet ha begränsat Claude Fable 5

Anthropic erkände att de "gjorde fel avvägning" med säkerhetsrestriktionerna på sin nyligen lanserade Claude Fable 5-modell, och backade från en kontroversiell policy som i hemlighet försämrade AI-modellens prestanda när den upptäckte användare som arbetade med utveckling av banbrytande AI. Ursäkten, som gavs till WIRED på tisdagen, kom bara två dagar efter modellens lansering den 9 juni, vilket väckte starka reaktioner från forskare, utvecklare och experter på AI-policy.

Dolda restriktioner väcker protester

"Vi ändrar Fable 5s säkerhetsåtgärder för utveckling av banbrytande LLM:er för att göra dem synliga", sa Anthropic i sitt uttalande. "Vi gjorde fel avvägning och vi ber om ursäkt för att vi inte fick balansen rätt."simonwillison+1

Kontroversen kretsade kring en avslöjande information begravd i Fable 5s 319-sidiga systemkort som visade att modellen i tysthet nedgraderade sina svar när den upptäckte förfrågningar relaterade till banbrytande AI-utveckling, såsom att bygga träningsinfrastruktur för stora språkmodeller. Till skillnad från Fable 5s andra restriktioner kring cybersäkerhet och biologi – som öppet omdirigerar användare till den mindre kraftfulla Claude Opus 4.8 med ett synligt meddelande – fungerade säkerhetsåtgärden för AI-utveckling osynligt, genom att använda tekniker som promptmodifiering och styrvektorer för att begränsa effektiviteten utan att informera användarna.fortune+1

Bredare säkerhetsmekanismer får kritik

Claude Fable 5 är Anthropics första publikt tillgängliga modell i "Mythos-klassen", som delar samma underliggande arkitektur som den begränsade Claude Mythos 5, men är inbäddad i säkerhetsklassificerare som fångar upp frågor som rör cybersäkerhet, biologi, kemi och modelldestillering. När de utlöses hanteras svaren av Claude Opus 4.8 istället. Anthropic uppgav att reservlösningen aktiveras i färre än 5 procent av sessionerna.techcrunch+2

Men cybersäkerhetsforskare och biologer klagade på att klassificerarna var alltför breda och flaggade legitimt arbete. Anthropic erkände själva att säkerhetsåtgärden för biologi och kemi kastar ett för brett nät och sa att en avsmalning är planerad.lushbinary+2

Förändringar kommer denna vecka

Enligt den reviderade policyn kommer flaggade förfrågningar nu att synligt falla tillbaka på Opus 4.8 inom alla begränsade kategorier. I API:et kommer flaggade förfrågningar att returnera en orsak till avslaget. "Du kommer att se detta varje gång det händer", sa en talesperson för Anthropic.moneycontrol+1

Företaget ramade in restriktionerna som nödvändiga för att hindra motståndare från att använda sin mest kapabla modell för att erodera USA:s teknologiska fördelar inom banbrytande chip och träningsmjukvara, samt för att upprätthålla sina användarvillkor som förbjuder användning av Claude för att bygga konkurrerande AI-system. Episoden har likväl intensifierat debatten om var gränsen går mellan ansvarsfull utrullning och att förstöra en modells användbarhet – en spänning som Anthropic sannolikt kommer att möta igen när de förbereder sig för en rapporterad börsnotering (IPO).fortune+1