Anthropic-chef: Över 10 procents risk att AI utplånar mänskligheten

Evan Hubinger, som leder arbetet med alignment-forskning på Anthropic, skrev på X under tisdagen att han personligen anser att det finns en risk på över 10 procent att AI "kan döda alla människor" inom det kommande decenniet. Uttalandet har fått över 10 miljoner visningar och skapat oro kring bolagets förväntade börsnotering.bbc+2

"Jacob har rätt här, vi tror verkligen på allvar att AI kan döda alla människor! Jag tror personligen att risken är >10 procent inom det kommande decenniet," skrev Hubinger. "Jag tror att Anthropic gör sitt bästa, men vi har ännu inte en plan för att lösa alignment-problemet för superintelligens och vi är inte tydligt på rätt väg."x

En uppsägning utlöser en kedjereaktion

Hubingers inlägg var ett svar till Jacob Coxon, en AI-forskare som meddelade på X att han sade upp sig från Anthropic efter tre år på både Anthropic och OpenAI. Coxon anklagade båda företagen för att "kapplöpa rakt mot självförbättrande superintelligens och spela med våra liv."nypost+1

"Människorna som bygger AI tror på allvar att det kan döda oss alla innan decenniet är slut. Det här är inget marknadsföringstrick," skrev Coxon och tillade att chefer och seniora forskare uttrycker rädsla privat som de tonar ner i offentliga uttalanden.saudigazette+1

En tredje anställd på Anthropic, chefen för skalbar övervakning Samuel Marks, lade till sin egen bedömning i samma tråd och skrev att "generellt sett, ju mer senior en anställd är, desto mer orolig är hen."breitbart

Cramer svänger från hype till tvekan

Avslöjandena skapade en ovanlig scen på CNBC. Under tisdagskvällens Mad Money berättade Jim Cramer för tittarna att Anthropic "kan bli en gigantisk börsnotering och investerare kommer att sälja alla möjliga andra aktier för att frigöra kapital att delta med." På onsdagsmorgonen i Squawk on the Street jämförde han Hubingers estimat med dödlighetsrisker vid kirurgi. "Om du någonsin varit i en situation där du behöver en operation och operationen har mer än 5 procents dödlighet, nej, då gör du det inte… 10 procent är dubbelt så mycket som 5 procent," sa Cramer och tillade att han var "mycket förvånad över att den här mannen fortfarande jobbar" på Anthropic.tech-insider+1

Anthropic har inte lämnat in en S-1-ansökan till amerikanska finansinspektionen SEC och förblir privatägt, även om Financial Times News Corp ↘ 8.72% har rapporterat att aktieägare förväntar sig att bolaget till slut värderas till över 2 biljoner dollar. Bolaget tog tidigare in kapital i en serie H-runda som värderade det till 965 miljarder dollar.247wallst+1

Ett mönster av varningar

Hubingers estimat ligger inom ett intervall som redan angetts av andra framstående AI-profiler. Anthropic-vd:n Dario Amodei har tidigare nämnt en risk på cirka 25 procent för katastrofala utfall, medan Geoffrey Hinton har uppskattat ett intervall på 10 till 20 procent, enligt Axios. Men Hubingers uttalande väger tungt som ett officiellt uttalande från en namngiven anställd vars jobb är att lösa just det problem han säger förblir olöst, och det kommer mitt i intensifierade spekulationer om en börsnotering.tech-insider

Episoden följer även en rapport från Financial Times om att Anthropic undanhöll sin senaste modell från brittiska AI Safety Institute. Neil Lawrence, professor i maskininlärning vid University of Cambridge, sa till BBC att rapporten var trovärdig och pekade på en kontext där USA "i hög grad ser AI som ett kapplöp" med Kina.bbc+1

Varken Anthropic eller OpenAI har visat tecken på att sakta ner utvecklingen. OpenAIs chefsforskare, Jakub Pachocki, efterlyste "extrem försiktighet" tidigare denna månad men gick inte så långt som att utlysa en paus. Ett öppet brev undertecknat av 1 300 anställda på AI-företag har uppmanat den amerikanska regeringen att hjälpa till att "medvetet dämpa tempot i frontlinjen för automatiserad AI-utveckling."saudigazette+1