Vedoucí vývoje v Anthropic: AI má přes 10% šanci, že vyhladí lidstvo

Evan Hubinger, který vede výzkum zarovnání AI ve společnosti Anthropic, v úterý na síti X napsal, že osobně věří, že existuje více než 10% šance, že AI „by mohla zabít všechny lidi“ během příštího desetiletí. Toto prohlášení vyvolalo přes 10 milionů zhlédnutí a rozvířilo finanční debaty kolem očekávaného vstupu společnosti na burzu (IPO).bbc+2

„Jacob má v tomto pravdu – my skutečně upřímně věříme, že AI by mohla zabít všechny lidi! Já osobně si myslím, že je to >10 % v příštím desetiletí,“ napsal Hubinger. „Věřím, že se Anthropic snaží ze všech sil, ale zatím nemáme plán, jak vyřešit zarovnání pro superinteligenci, a nejsme jasně na cestě k jeho dosažení.“x

Rezignace spustila řetězovou reakci

Hubingerův příspěvek byl reakcí na Jacoba Coxona, výzkumníka v oblasti AI, který na síti X oznámil, že odchází z Anthropic po třech letech strávených v Anthropic i OpenAI. Coxon obvinil obě společnosti z toho, že „se řítí přímo k sebezlepšující se superinteligenci a hazardují s našimi životy“.nypost+1

„Lidé, kteří staví AI, upřímně věří, že by nás všechny mohla zabít do konce desetiletí. Tohle není marketingový trik,“ napsal Coxon a dodal, že vedoucí pracovníci a seniorní výzkumníci vyjadřují v soukromí obavy, které ve veřejných prohlášeních zmírňují.saudigazette+1

Třetí zaměstnanec Anthropic, vedoucí dohledu nad škálovatelností Samuel Marks, přidal ve stejném vlákně vlastní hodnocení: „Obecně platí, že čím výše postavený zaměstnanec, tím větší má obavy.“breitbart

Cramer mění tón: od nadšení k pochybnostem

Tato odhalení vytvořila neobvyklou scénu na stanici CNBC. V úterním pořadu Mad Money Jim Cramer divákům řekl, že Anthropic „by mohlo být gigantické IPO a investoři budou prodávat spoustu jiných akcií, aby získali peníze na účast“. Ve středu ráno v pořadu Squawk on the Street už ale srovnával Hubingerův odhad s rizikem úmrtí při operaci. „Pokud jste někdy byli v situaci, kdy chcete operaci a ta operace má riziko úmrtí vyšší než 5 %, neuděláte to… 10 % je dvakrát více než 5 %,“ řekl Cramer a dodal, že je „velmi překvapen, že tento muž stále pracuje“ v Anthropic.tech-insider+1

Společnost Anthropic zatím nepodala formulář S-1 u komise SEC a zůstává soukromou firmou, ačkoliv Financial Times News Corp ↘ 10.66% uvedly, že akcionáři očekávají, že společnost bude mít při vstupu na burzu hodnotu přes 2 biliony dolarů. Společnost dříve uzavřela investiční kolo série H, které ji ocenilo na 965 miliard dolarů.247wallst+1

Vzor varování

Hubingerův odhad zapadá do rozmezí, které již dříve vytyčily jiné významné osobnosti v oblasti AI. Generální ředitel Anthropic Dario Amodei již dříve citoval zhruba 25% šanci na katastrofické výsledky, zatímco Geoffrey Hinton podle Axios odhadl rozmezí 10 až 20 %. Hubingerovo vyjádření má však zvláštní váhu jako oficiální prohlášení jmenovaného zaměstnance, jehož úkolem je řešit právě ten problém, který podle něj zůstává nevyřešen, a přichází v době sílících spekulací o IPO.tech-insider

Tato epizoda také navazuje na zprávu Financial Times, že Anthropic svůj nejnovější model odmítl poskytnout britskému institutu pro bezpečnost AI (AI Safety Institute). Neil Lawrence, profesor strojového učení na Cambridgeské univerzitě, pro BBC uvedl, že zpráva je důvěryhodná, a poukázal na kontext, v němž Spojené státy „velmi silně vnímají AI jako závod“ s Čínou.bbc+1

Ani Anthropic, ani OpenAI nevykazují známky zpomalení vývoje. Hlavní vědec OpenAI, Jakub Pachocki, začátkem tohoto měsíce vyzval k „extrémní opatrnosti“, ale od vyhlášení pauzy upustil. Otevřený dopis podepsaný 1 300 zaměstnanci firem zabývajících se AI vyzval vládu USA, aby pomohla „záměrně zpomalit tempo vývoje hraniční automatizované AI“.saudigazette+1