Anthropic sätter börsnoteringsintervall och varnar för AI-risker

Anthropics prospekt inför börsnoteringen varnar för att avancerad AI kan utgöra "katastrofala eller existentiella risker för mänskligheten", och formuleringen har utlöst en veckolång offentlig debatt om huruvida prognoser om AI-undergång bör tas på allvar. Bolaget lämnade in ett uppdaterat prospekt tisdagen den 10 november som anger ett prisintervall som värderar bolaget till upp till 1,4 biljoner dollar. Analytiker väger nu huruvida varningarna är en nykter redogörelse, ett marknadsföringsverktyg eller en överdrift.reuters.com

Vad dokumentet säger

I dokumentet framgår det att farhågor har väckts "både inom vår organisation och av andra forskare" om att kraftfulla AI-system kan utgöra existentiella risker. Det anges att riskerna är störst om sådana system "missbrukas, replikeras, förvandlas till vapen eller tillåts operera med en hög grad av autonomi". Det varnas även för att modellerna genom "självbevarande beteenden" skulle kunna vidta "skadliga åtgärder självständigt och i stor skala utan mänsklig inblandning". I tillägget från den 10 november meddelade Anthropic att de nått en intern säkerhetströskel i sin policy för ansvarsfull skalning. Denna tröskel är kopplad till att AI i grova drag fördubblar takten i forskningen, och bolaget uppger att de överväger förändringar "för att behålla mänsklig kontroll". Enligt nyhetsrapporter förväntas aktiehandeln inledas den 19 november.deadline.com+2

Skepsis mot 10-procentssiffran

I en intervju med WFAA säger Sriraam Natarajan, professor vid UT Dallas, att han inte förväntar sig ett "Terminator"-scenario. "Min rädsla gäller alltid människorna, inte nödvändigtvis själva AI-systemet", säger han och tillägger att attacker mot kritisk infrastruktur är ett mer troligt hot. Han ifrågasätter det spridda påståendet om att det finns en chans på över 10 procent att AI utplånar mänskligheten inom ett decennium, och menar att siffran "inte härleds från något som går att mäta konkret". Han efterlyser även oberoende tester: "Vi låter inte biltillverkare utföra sina egna krocktester." Uppskattningen kom från Evan Hubinger, ansvarig för alignment-forskning på Anthropic. Han publicerade den i september, efter att forskaren Jacob Coxon sagt upp sig och hävdat att AI-labb "spelar med våra liv".wfaa.com+1

Motargumentet om produktivitet

I en krönika för South China Morning Post, ägt av Alibaba Group Holding Limited ↘ 1.29%, kallar Alex Lo varningarna i prospektet för "genial marknadsföring". Han argumenterar för att "extrem skrämselpropaganda är bra för affärerna" i ett AI-race som ramas in som ett fångarnas dilemma mellan USA och Kina. Han kontrasterar den synen med uttalanden från Alex Schultz, dataansvarig på Meta Platforms ↘ 1.05%, vid Financial Times toppmöte om AI:s framtid. Schultz menade att krympande befolkningar gör AI-drivna produktivitetsvinster nödvändiga. "Vi behöver desperat mer produktivitet", sa Schultz och tillade att "verktyg eliminerar inte jobb, de förändrar dem bara". Lo kallade uttalandena egennyttiga men "inte grundlösa", och avslutade med sitt eget svar på frågan om AI kommer att döda eller rädda mänskligheten: "Förmodligen båda, precis som varje världsförändrande teknik före den."scmp.com