Yfirtæknifræðingur hjá Anthropic: Yfir 10 prósent líkur á að gervigreind útrými mannkyni

Evan Hubinger, sem stýrir samræmingarvísindum hjá Anthropic, skrifaði á X á þriðjudag að hann telji persónulega meira en 10 prósent líkur á að gervigreind "geti drepið allt mannkyn" innan næsta áratugar. Yfirlýsingin hefur vakið mikla athygli og hleypt af stað umræðu um fjármál í kringum væntanlegt hlutafjárútboð fyrirtækisins.bbc+2

"Jacob hefur rétt fyrir sér hér, við trúum því í alvöru að gervigreind gæti drepið allt mannkyn! Ég tel persónulega að það séu meira en 10 prósent líkur á því innan næsta áratugar," skrifaði Hubinger. "Ég tel að Anthropic sé að gera sitt besta, en við höfum ekki enn áætlun um hvernig eigi að leysa samræmingarvandann fyrir ofurgreind og erum ekki á skýrri leið með það."x

Uppsögn setur af stað keðjuverkun

Færsla Hubingers kom í kjölfar þess að Jacob Coxon, gervigreindarrannsakandi, tilkynnti á X að hann væri að segja upp störfum hjá Anthropic eftir þriggja ára starf hjá bæði Anthropic og OpenAI. Coxon sakaði bæði fyrirtækin um að "keppast beint að sjálfbættri ofurgreind og tefla lífi okkar í tvísýnu".nypost+1

"Fólkið sem byggir gervigreind trúir því í alvöru að hún gæti drepið okkur öll fyrir lok áratugarins. Þetta er ekki markaðsbrella," skrifaði Coxon og bætti við að stjórnendur og háttsettir rannsakendur lýsi yfir ótta í einrúmi sem þeir mýki síðan í opinberum ummælum.saudigazette+1

Þriðji starfsmaður Anthropic, Samuel Marks, sem stýrir eftirlitsmálum, bætti við sínu mati í sama þræði og skrifaði að "almennt séð, því hærra sem starfsmenn eru settir, því áhyggjufyllri eru þeir".breitbart

Cramer snýr við blaðinu

Þessar uppljóstranir sköpuðu óvenjulega stemningu á CNBC. Í Mad Money á þriðjudagskvöld sagði Jim Cramer áhorfendum að Anthropic "gæti orðið risastórt hlutafjárútboð og fjárfestar muni selja alls kyns önnur hlutabréf til að afla fjár til þátttöku". Á miðvikudagsmorgun í Squawk on the Street var hann farinn að bera mat Hubingers saman við dánartíðni í skurðaðgerðum. "Ef þú ert í aðstæðum þar sem þú vilt fara í aðgerð og dánartíðnin er meira en 5 prósent, þá gerirðu það ekki… 10 prósent er tvöfalt meira en 5 prósent," sagði Cramer og bætti við að hann væri "mjög hissa á því að þessi maður starfi enn" hjá Anthropic.tech-insider+1

Anthropic hefur ekki skilað inn S-1 skráningu til bandaríska verðbréfaeftirlitsins og er enn einkafyrirtæki, þótt Financial Times News Corp ↘ 10.66% hafi greint frá því að hluthafar búist við að fyrirtækið verði að lokum skráð á markað með yfir 2 billjóna dollara virði. Fyrirtækið hafði áður safnað fjármagni í H-umferð sem metur það á 965 milljarða dollara.247wallst+1

Mynstur viðvarana

Mat Hubingers fellur innan þess ramma sem aðrir áberandi aðilar í gervigreindargeiranum hafa sett fram. Dario Amodei, forstjóri Anthropic, hefur áður nefnt um 25 prósent líkur á hörmulegum afleiðingum, á meðan Geoffrey Hinton hefur áætlað 10 til 20 prósent líkur, samkvæmt Axios. En uppljóstrun Hubingers vegur þungt sem opinber yfirlýsing frá nafngreindum starfsmanni sem hefur það hlutverk að leysa einmitt það vandamál sem hann segir enn óleyst, og hún kemur á sama tíma og vangaveltur um hlutafjárútboð magnast.tech-insider

Atvikið fylgir einnig skýrslu Financial Times um að Anthropic hafi haldið nýjustu gerð sinni frá gervigreindaröryggisstofnun Bretlands. Neil Lawrence, prófessor í vélanámi við Cambridge-háskóla, sagði við BBC að skýrslan væri trúverðug og benti á að Bandaríkin "líti mjög á gervigreind sem keppni" við Kína.bbc+1

Hvorugt fyrirtækjanna, Anthropic eða OpenAI, hefur sýnt merki um að hægja á þróuninni. Jakub Pachocki, yfirvísindamaður OpenAI, kallaði eftir "gætni" fyrr í mánuðinum en gekk ekki svo langt að boða hlé. Opinn bréf sem 1.300 starfsmenn gervigreindarfyrirtækja hafa undirritað hefur hvatt bandarísk stjórnvöld til að hjálpa til við að "stýra hraðanum á þróun gervigreindar meðvitað".saudigazette+1