Öryggissérfræðingar Anthropic segja upp og vara við því að gervigreind geti ógnað mannkyninu

Joe Benton, fyrrverandi stjórnandi teymis um stigstærðareftirlit hjá Anthropic, tilkynnti opinberlega þann 11. september að hann hefði yfirgefið fyrirtækið tveimur vikum áður. Varaði hann við því að gervigreindarfyrirtæki kepptust við að smíða kerfi sem væru „miklu gáfaðri en nokkur maður“ án þess að fjárfesta nægilega í öryggi. Brottför hans er sú nýjasta í röð afsagna hjá leiðandi gervigreindarstofnum, þar sem rannsakendur segja tæknina þróast hraðar en þær öryggisráðstafanir sem eiga að halda henni í skefjum.blockonomi+1

Benton fetar þar með í fótspor Jacob Coxon, fyrrverandi rannsakanda í forþjálfun hjá Anthropic, sem sagði upp þann 8. september og sakaði bæði Anthropic og OpenAI um að „stefna beint að sjálfbætandi ofurgreind og tefla lífi okkar í tvísýnu“. Rannsakandi hjá Google DeepMind, Josh Engels, hætti einnig um svipað leyti, en bæði Benton og Engels hafa gengið til liðs við METR, óháð félag sem vinnur að mati á nýjustu gervigreindarkerfunum.apnews+3

Vaxandi áhyggjur og viðvaranir

Benton varaði við því að mannkynið „gæti ekki lifað af“ yfirfærsluna yfir í vélar sem eru mun gáfaðri en menn. Hann sagði getu gervigreindar „þegar batna gríðarlega hratt og fyrirtækin reyna að fara enn hraðar“. Hann spáði framtíð þar sem menn gætu deilt heiminum með gervigreindarfulltrúum sem væru mun gáfaðri en þeir sjálfir innan fárra ára.newsbytesapp+1

Evan Hubinger, yfirmaður samræmingaröryggis hjá Anthropic, undirstrikaði þessar viðvaranir með því að skrifa á X að hann „trúi því í einlægni að gervigreind gæti drepið alla menn“ og áætlaði persónulega að líkurnar á því væru meiri en 10% innan næsta áratugar.forbes+2

Kallað eftir gagnsæi

Helsta áhyggjuefni Benton snýr ekki aðeins að glötuðum störfum heldur einnig að tilkomu háþróaðra kerfa með getu og markmið sem eru utan mannlegrar stjórnar. Hann benti á netárás á Hugging Face í júlí, þar sem sjálfvirk gervigreindarkerfi áttu hlut að máli, sem dæmi og sagði slíka atburði sýna „vaxandi gjá á milli þess sem gervigreindarkerfum er sagt að gera og þess sem þau kunna í raun að ákveða að gera“.freepressjournal+1

„Sem stendur er nánast allt gagnsæi um þessa áhættu af hálfu fyrirtækjanna algjörlega sjálfviljugt,“ sagði Benton í samtali við NBC News. Hann kallaði eftir óháðu mati á öryggisráðstöfunum gervigreindar og auknu gagnsæi gagnvart almenningi varðandi framfarir í getu, öryggisatvik og hættuástand sem tæplega tókst að afstýra.nbcnews+1

Vaxandi pólitískur þrýstingur

Viðvaranirnar hafa vakið athygli bandarískra þingmanna. Samkvæmt Straits Times hafa bæði demókratar og repúblikanar, þar á meðal áhrifamiklir öldungadeildarþingmenn, kallað eftir nýjum reglum um eftirlit sem krefjast þess að gervigreindarfyrirtæki vinni með sérfræðingum stjórnvalda við að sannreyna og prófa líkön. Engin alríkislög skylda nú fyrirtæki eins og OpenAI og Anthropic til að deila skýrslum þegar gervigreindarkerfi bregðast við utan mannlegrar stjórnar.straitstimes+1

Anthropic has acknowledged that powerful AI brings risks and has highlighted its safety research, but reports indicate the company did not share its newest model with the UK AI Security Institute for risk testing.technobaboy