Anthropic-leder mener det er over 10 prosent sjanse for at KI utrydder menneskeheten

Evan Hubinger, som leder arbeidet med alignment-forskning hos Anthropic, skrev på X tirsdag at han personlig mener det er over 10 prosent sjanse for at KI "kan drepe alle mennesker" i løpet av det neste tiåret. Uttalelsen har fått over 10 millioner visninger og skapt uro rundt selskapets forventede børsnotering.bbc+2

"Jacob har rett her, vi tror virkelig oppriktig at KI kan drepe alle mennesker! Jeg tror personlig det er >10 prosent sjanse i løpet av det neste tiåret," skrev Hubinger. "Jeg tror Anthropic gjør sitt beste, men vi har ennå ikke en plan for å løse alignment-problemet for superintelligens, og vi er ikke tydelig på rett vei."x

En oppsigelse utløser en kjedereaksjon

Hubingers innlegg kom som et svar til Jacob Coxon, en KI-forsker som kunngjorde på X at han sa opp i Anthropic etter tre år i både Anthropic og OpenAI. Coxon anklaget begge selskapene for å "kappløpe rett mot selvforbedrende superintelligens og gamble med livene våre."nypost+1

"Folkene som bygger KI tror oppriktig at det kan drepe oss alle innen tiåret er omme. Dette er ikke et markedsføringsstunt," skrev Coxon, og la til at ledere og seniorforskere uttrykker frykt privat som de toner ned i offentlige uttalelser.saudigazette+1

En tredje Anthropic-ansatt, leder for skalerbar overvåking Samuel Marks, la til sin egen vurdering i samme tråd og skrev at "generelt sett, jo mer senior en ansatt er, desto mer bekymret er de."breitbart

Cramer snur fra hype til nøling

Avsløringene skapte en uvanlig situasjon på CNBC. Tirsdag kveld sa Jim Cramer i Mad Money til seerne at Anthropic "kan bli en gigantisk børsnotering, og investorer vil selge alle mulige andre aksjer for å skaffe penger til å delta." Onsdag morgen i Squawk on the Street sammenlignet han Hubingers estimat med dødelighetsrater ved kirurgi. "Hvis du noen gang har vært i en situasjon der du trenger en operasjon, og operasjonen har mer enn 5 prosent dødelighet, nei, da gjør du det ikke… 10 prosent er dobbelt så mye som 5 prosent," sa Cramer, og la til at han var "veldig overrasket over at denne mannen fortsatt jobber" i Anthropic.tech-insider+1

Anthropic har ikke levert en S-1-melding til det amerikanske finanstilsynet SEC og forblir privateid, selv om Financial Times News Corp ↘ 0.78% har rapportert at aksjonærer forventer at selskapet til slutt vil bli verdsatt til over 2 billioner dollar. Selskapet hentet tidligere kapital i en serie H-runde som verdsatte det til 965 milliarder dollar.247wallst+1

Et mønster av advarsler

Hubingers estimat faller innenfor et område som allerede er definert av andre fremtredende KI-skikkelser. Anthropic-sjef Dario Amodei har tidligere antydet en sjanse på rundt 25 prosent for katastrofale utfall, mens Geoffrey Hinton har anslått et område på 10 til 20 prosent, ifølge Axios. Men Hubingers uttalelse veier tungt som en offisiell uttalelse fra en navngitt ansatt hvis jobb er å løse nettopp det problemet han sier forblir uløst, og den kommer midt i økende spekulasjoner om børsnotering.tech-insider

Episoden følger også en rapport fra Financial Times om at Anthropic holdt tilbake sin nyeste modell fra Storbritannias AI Safety Institute. Neil Lawrence, professor i maskinlæring ved University of Cambridge, sa til BBC at rapporten var troverdig, og pekte på en kontekst der USA "i stor grad ser på KI som et kappløp" med Kina.bbc+1

Verken Anthropic eller OpenAI har vist tegn til å bremse utviklingen. OpenAIs sjefsforsker, Jakub Pachocki, etterlyste "ekstrem forsiktighet" tidligere denne måneden, men gikk ikke så langt som å kunngjøre en pause. Et åpent brev signert av 1300 ansatte i KI-selskaper har oppfordret den amerikanske regjeringen til å bidra til å "bevisst bremse frontlinjen for automatisert KI-utvikling."saudigazette+1