Stofnandi Anthropic kallar eftir lögbundnum neyðarrofum fyrir gervigreind

Jack Clark, annar stofnenda Anthropic, sagði við BBC á mánudag að stjórnvöld ættu að íhuga að krefjast þess að gervigreindarfyrirtæki byggi óháðan neyðarrof inn í kerfi sín. Með því væri verið að bæta lagalegum þunga við vaxandi áhyggjur innan iðnaðarins af hraða gervigreindarþróunar.bbc

Clark sagði að þótt flestar helstu gervigreindarstofur, þar á meðal Anthropic, viðhaldi nú þegar innri kerfum til að slökkva á hugbúnaði sínum, séu sjálfviljugir öryggisþættir hugsanlega ekki nóg. "Ætti að gera fyrirtækjum skylt að hafa neyðarrof? Er sá rofi háður staðfestingu þriðja aðila?" sagði Clark í viðtalinu og kallaði þessar spurningar lykilatriði í "víðtækari stefnumótunarumræðu" um gervigreind.bbc

Vika ótta

Ummælin setja punktinn yfir i-ið á ólgusömu tímabili fyrir Anthropic og gervigreindargeirann í heild. Þann 8. september lýsti rannsakandinn Evan Hubinger hjá Anthropic því yfir að hann teldi meira en 10 prósent líkur á útrýmingu mannkyns vegna gervigreindar á næsta áratug, tölfræði sem Nóbelsverðlaunahafinn Geoffrey Hinton sagði við BBC vera "ekki óeðlilega". Þessi ummæli fylgdu afsögn rannsakandans Jacobs Coxon, sem sakaði gervigreindarstofur um að "keppa beint að sjálfbætandi ofurgreind og tefla lífi okkar í tvísýnu".bbc+2

Á laugardag birti Dario Amodei, forstjóri Anthropic, 3.800 orða ritgerð þar sem hann kallaði eftir víðtækri hægingu á þróun gervigreindargetu og hélt því fram að iðnaðurinn þyrfti "eitt til tvö ár í viðbót" til að innleiða verndarráðstafanir. Ritgerðin fékk skjótan stuðning frá Sam Altman, forstjóra OpenAI, Elon Musk og Demis Hassabis, stjórnarformanni Google Alphabet Inc. ↗ 0.78% DeepMind. Donald Trump forseti vísaði viðvörunum á bug á sunnudag, líkti gagnrýnendum við "mjög neikvæð öfl" og ítrekaði að Bandaríkin yrðu að halda forystu sinni í tækninni.cbc+2

Hlutafjárútboð í vændum

Ákall Clarks um reglugerðir kemur á viðskiptalega viðkvæmum tíma fyrir Anthropic, sem undirbýr hlutafjárútboð strax í október. Fjárfestar búast við að fyrirtækið gæti verið metið á um 2 billjónir dollara, samkvæmt Financial Times, sem væri stærsta hlutafjárútboð sögunnar. Fjárfestar sögðu við FT að árstekjur Anthropic stefni í 100 til 120 milljarða dollara fyrir lok árs 2026, sem er meira en tíföldun á einu ári.qz+1

Clark viðurkenndi spennuna milli þess að kalla eftir hömlum og starfa á harðvítugum samkeppnismarkaði. Hann varaði við því að það væri hættuleg leið að leyfa gervigreind að vera "algjörlega óstýrður iðnaður". "Við erum að kasta teningunum með gríðarlegri áhættu," sagði hann. "Málið er að við þurfum að breyta stefnu þessa iðnaðar".bbc