Anthropic-gründer tar til orde for obligatorisk «nødbrems» for KI

Jack Clark, medgründer av Anthropic, sa til BBC på mandag at myndigheter bør vurdere å kreve at KI-selskaper bygger uavhengig verifiserbare «nødbremser» inn i systemene sine. Dette legger til regulatorisk tyngde til en økende bølge av bekymring fra innsiden av bransjen angående tempoet i utviklingen av kunstig intelligens.bbc

Clark sa at selv om de fleste store KI-laboratorier, inkludert Anthropic, allerede opprettholder interne mekanismer for å slå av programvaren sin, er kanskje ikke frivillige sikkerhetstiltak nok. «Bør selskaper pålegges å ha en nødbrems? Er denne nødbremsen underlagt verifisering av en tredjepart?» sa Clark i intervjuet, og kalte disse spørsmålene sentrale for «den bredere politiske dialogen» rundt KI.bbc

En uke med alarm

Uttalelsene markerer slutten på en turbulent periode for Anthropic og KI-sektoren for øvrig. Den 8. september uttalte Anthropic-forsker Evan Hubinger offentlig at han mener det er mer enn 10 prosent sjanse for menneskelig utryddelse som følge av KI i løpet av det neste tiåret, et tall nobelprisvinner Geoffrey Hinton sa til BBC var «ikke urimelig». Disse kommentarene fulgte oppsigelsen til forsker Jacob Coxon, som anklaget KI-laboratorier for å «kappløpe rett mot selvforbedrende superintelligens og gamble med livene våre».bbc+2

Lørdag publiserte Anthropic-sjef Dario Amodei et 3800 ord langt essay der han tok til orde for en bred nedbremsing i utviklingen av KI-kapasiteter, og argumenterte for at bransjen trenger «ett til to år ekstra» for å implementere beskyttelsestiltak. Essayet fikk rask støtte fra OpenAI-sjef Sam Altman, Elon Musk og Google Alphabet Inc. ↘ 1.24% DeepMind-leder Demis Hassabis. President Donald Trump avviste advarslene på søndag, og sammenlignet kritikerne med «svært negative krefter» og insisterte på at USA må opprettholde sitt forsprang innen teknologien.cbc+2

Børsnotering i sikte

Clarks press for regulering kommer på et kommersielt ladet tidspunkt for Anthropic, som forbereder en børsnotering så tidlig som i oktober. Investorer forventer at selskapet kan bli verdsatt til rundt 2 billioner dollar, ifølge Financial Times – et tall som ville gjort det til den største børsnoteringen i historien. Investorer fortalte FT at Anthropics årlige inntekter er på vei til å nå mellom 100 og 120 milliarder dollar innen utgangen av 2026, en tidobling i løpet av året.qz+1

Clark anerkjente spenningen mellom å kreve begrensninger og å operere i et sterkt konkurransepreget marked. Han advarte om at det å la KI forbli en «helt uregulert bransje» er en farlig vei. «Vi kaster terningene med enorm risiko,» sa han. «Poenget er at vi må endre retningen til denne bransjen».bbc