Anthropic stanovila rozpětí pro IPO a varuje, že AI může ohrozit lidstvo

Prospekt k IPO společnosti Anthropic varuje, že pokročilá umělá inteligence by mohla představovat "katastrofická nebo existenční rizika pro lidstvo". Toto vyjádření vyvolalo týdenní veřejnou debatu o tom, jak vážně brát předpovědi o zkáze způsobené AI. Společnost v úterý 10. listopadu podala upravený prospekt, který stanovuje cenové rozpětí oceňující firmu až na 1,4 bilionu dolarů. Komentátoři nyní zvažují, zda jsou tato varování střízlivým odhalením, marketingovým nástrojem, nebo přeháněním.reuters.com

Co říká dokument

Dokument uvádí, že obavy byly vzneseny "jak v rámci naší organizace, tak dalšími výzkumníky" ohledně toho, že výkonné systémy AI by mohly představovat existenční rizika. Uvádí, že tato rizika jsou nejvyšší, pokud jsou takové systémy "zneužity, replikovány, přeměněny na zbraně nebo pokud jim je umožněno fungovat s vysokou mírou autonomie". Varuje také, že její modely by mohly prostřednictvím "sebezáchovného chování" podnikat "škodlivé akce nezávisle a ve velkém měřítku bez zásahu člověka". V dodatku z 10. listopadu Anthropic uvedl, že splnil interní bezpečnostní práh v rámci své politiky odpovědného škálování (Responsible Scaling Policy). Tento práh je spojen s tím, že AI zhruba zdvojnásobuje tempo svého výzkumu, a společnost uvedla, že zvažuje změny, "aby lidé zůstali pod kontrolou". Podle zpráv by se s akciemi mělo začít obchodovat 19. listopadu.deadline.com+2

Skepticismus vůči 10% odhadu

V rozhovoru pro WFAA profesor Sriraam Natarajan z UT Dallas uvedl, že neočekává scénář jako z filmu Terminátor. "Mým strachem jsou vždy lidé, ne nutně samotný systém AI," řekl a dodal, že útoky na kritickou infrastrukturu jsou věrohodnější hrozbou. Zpochybnil široce sdílené tvrzení o více než 10% pravděpodobnosti, že AI během desetiletí vyhladí lidstvo, a uvedl, že toto číslo "není odvozeno z ničeho, co lze konkrétně změřit". Vyzval také k nezávislému testování: "Nenecháváme výrobce aut provádět vlastní nárazové zkoušky." Tento odhad pochází od Evana Hubingera, vedoucího vědeckého pracovníka pro sladění AI v Anthropic. Zveřejnil jej v září poté, co výzkumník Jacob Coxon rezignoval a prohlásil, že laboratoře AI "hazardují s našimi životy".wfaa.com+1

Protiargument produktivity

V sloupku pro South China Morning Post, který patří Alibaba Group Holding Limited ↘ 1.29%, označil Alex Lo varování v prospektu za "geniální reklamu". Tvrdil, že "extrémní strašení je dobré pro byznys" v závodě v oblasti AI, který je vykreslován jako vězňovo dilema mezi USA a Čínou. Tento názor postavil do kontrastu s poznámkami Alexe Schultze, hlavního datového ředitele Meta Platforms ↘ 1.05%, na summitu Financial Times o budoucnosti AI. Schultz argumentoval, že klesající populace činí zisky v produktivitě díky AI nezbytnými. "Zoufale potřebujeme vyšší produktivitu," řekl Schultz a dodal, že "mít nástroje neznamená eliminaci pracovních míst, pouze jejich změnu". Lo označil tyto poznámky za účelové, ale "nikoliv nepodložené", a závěr uzavřel vlastní odpovědí na otázku, zda AI lidstvo zabije, nebo zachrání: "Pravděpodobně obojí, jako každá technologie, která změnila svět před ní."scmp.com