Hinton: 10 procents risk att AI utplånar mänskligheten är inte orimligt

Den Nobelprisbelönade datavetaren Geoffrey Hinton berättade för BBC Newsnight på tisdagen att en 10-procentig sannolikhet för att artificiell intelligens dödar alla människor inom det kommande decenniet "verkar inte vara en orimlig uppskattning," en kommentar som lämnade programledaren Victoria Derbyshire synbart chockad i direktsändning.ndtvprofit+1

"Vi har aldrig skapat varelser som snart kan bli smartare än oss. Vi vet inte vad som kommer att hända," sade Hinton när han fick frågan av Derbyshire om siffran var trovärdig. "En 10-procentig chans verkar inte vara en orimlig uppskattning för mig. Men ingen vet egentligen hur man gör en vettig uppskattning." När Derbyshire upprepade hans ord svarade Hinton med ett enda ord: "Ja." Hennes reaktion — "Wow… oh my God" — spreds snabbt på nätet.ndtv+1

Hur AI kan orsaka förödelse

Hinton, som vann Nobelpriset i fysik 2024 för sitt arbete inom maskininlärning, sade att avancerad AI inte skulle behöva fysisk kontroll över världen för att utgöra ett existentiellt hot. "Den skulle kunna orsaka totalt kaos bara genom att prata med människor," sade han. "Men den skulle också kunna designa mycket otäcka virus — biologiska virus — såväl som datorvirus. Den skulle kunna utföra förödande cyberattacker." Han tillade att det vore "mycket dumt" att anta att risken var så låg som 1 procent.ndtvprofit+1

Stuart Russell, professor vid UC Berkeley, instämde i oron och berättade för Business Insider att AI eller AI-aktiverade aktörer skulle kunna attackera kritisk infrastruktur, inklusive el, vatten, transport och finansiella system.businessinsider

Avhoppen från Anthropic som startade debatten

Hintons intervju följde på en kedja av händelser som inleddes den 8 september när Jacob Coxon, en tidigare forskare inom förträning hos både OpenAI och Anthropic, sade upp sig offentligt. "Inget av företagen agerar ansvarsfullt," skrev Coxon på X. "De kapplöper rakt mot självförbättrande superintelligens och spelar med våra liv."ibtimes+1

Anthropic-chefen för alignment-forskning, Evan Hubinger, svarade därefter offentligt att Coxon hade "rätt" och att han personligen tror att det finns en större än 10-procentig chans att AI kan döda alla människor inom decenniet. "Vi har ännu inte en plan för att lösa alignment för superintelligens och är inte tydligt på väg att göra det," skrev Hubinger.businessinsider+1

En skarp klyfta bland experter

Alla forskare delar inte oron. Gary Marcus, en AI-forskare, berättade för Business Insider att han ser cyberattacker, biologiska vapen och desinformation som allvarliga risker, men anser inte att utplåning är ett realistiskt utfall på kort sikt. "Det finns några mycket allvarliga skador att oroa sig för, men inget realistiskt scenario som jag känner till för att faktiskt 'döda alla människor'," sade han. Metas ↗ 0.84% Yann LeCun har tidigare avfärdat sådana sannolikhetsuppskattningar som magkänsla — en beskrivning som Hinton själv delvis har accepterat, och berättat för CNN att "alla som uppskattar sannolikheter på det sättet gör egentligen bara en vild gissning".businessinsider+1

ITV-programledaren Robert Peston lade till sin röst i debatten och skrev på X: "Jag är lite förvånad över att det inte har väckt mer uppmärksamhet, inklusive från regeringshåll."ladbible