Anthropic setter IPO-kurs, advarer om at KI kan true menneskeheten

I sitt prospekt for børsnoteringen advarer Anthropic om at avansert KI kan utgjøre "katastrofale eller eksistensielle risikoer for menneskeheten", en formulering som har utløst en uke med offentlig debatt om hvor alvorlig man bør ta spådommer om KI-dommedag. Selskapet sendte inn et revidert prospekt tirsdag 10. november, som setter en prisklasse som verdsetter selskapet til opptil 1,4 billioner dollar. Kommentatorer vurderer nå om advarslene er en nøktern opplysning, et markedsføringsverktøy eller en overdrivelse.reuters.com

Hva dokumentet sier

Dokumentet opplyser at det er reist bekymringer "både internt i vår organisasjon og av andre forskere" om at kraftige KI-systemer kan utgjøre eksistensiell risiko. Det heter at risikoen er størst dersom slike systemer blir "misbrukt, kopiert, våpengjort eller får operere med en høy grad av autonomi". Det advares også om at modellene deres kan, gjennom "selvbevarende atferd", utføre "skadelige handlinger uavhengig og i stor skala uten menneskelig inngripen". I endringen fra 10. november opplyste Anthropic at de har nådd en intern sikkerhetsterskel i sin retningslinje for ansvarlig skalering (Responsible Scaling Policy). Denne terskelen er knyttet til at KI omtrent dobler tempoet i forskningen, og selskapet sier de vurderer endringer "for å holde mennesker ved kontrollen". Nyhetsrapporter sier at aksjene forventes å begynnes å handles 19. november.deadline.com+2

Skepsis til et 10-prosentestimat

I et intervju med WFAA sa professor Sriraam Natarajan ved UT Dallas at han ikke forventer et "Terminator"-scenario. "Min frykt er alltid menneskene, ikke nødvendigvis selve KI-systemet," sa han, og la til at angrep på kritisk infrastruktur er en mer plausibel trussel. Han stilte spørsmål ved en mye delt påstand om at det er mer enn 10 % sjanse for at KI utrydder menneskeheten i løpet av et tiår, og sa at tallet "ikke er utledet fra noe man kan måle konkret". Han etterlyste også uavhengig testing: "Vi lar ikke bilprodusenter utføre sine egne kollisjonstester." Estimatet kom fra Evan Hubinger, leder for alignment-vitenskap hos Anthropic. Han publiserte det i september, etter at forskeren Jacob Coxon sa opp og uttalte at KI-laboratorier "gambler med livene våre".wfaa.com+1

Motargumentet om produktivitet

I en spalte for South China Morning Post, eid av Alibaba Group Holding Limited ↘ 1.29%, kalte Alex Lo advarslene i prospektet for "genial markedsføring". Han argumenterte for at "ekstrem skremselspropaganda er bra for forretningene" i et KI-kappløp som er rammet inn som et fangens dilemma mellom USA og Kina. Han kontrasterte dette synet med uttalelser fra Alex Schultz, direktør for dataanalyse hos Meta Platforms ↘ 1.05%, under Financial Times' toppmøte om fremtidens KI. Schultz argumenterte for at krympende befolkninger gjør KI-gevinster i produktivitet essensielle. "Vi trenger desperat mer produktivitet," sa Schultz, og la til at "det å ha verktøy eliminerer ikke jobber, det bare endrer dem". Lo kalte disse uttalelsene egennyttige, men "ikke grunnløse", og avsluttet med sitt eget svar på om KI vil drepe eller redde menneskeheten: "Sannsynligvis begge deler, som enhver verdensendrende teknologi før den."scmp.com