Anthropic-grundare: Lagkrav på «nödstopp» för AI kan bli nödvändigt

Den tidigare Anthropic- och OpenAI-forskaren Jacob Coxon, vars uppsägning förra veckan väckte stor oro inom teknikbranschen, sade till NBC News' Meet the Press att även om det tekniskt sett är möjligt att stänga av AI-system i dag, kan det fönstret snart stängas. Hans varning kom samtidigt som Anthropic-medgrundaren Jack Clark separat berättade för BBC att en tredjepartsverifierad «nödstopp» kan behöva bli ett lagkrav för AI-företag.bbc

Coxon, som sade upp sig från Anthropic den 9 september med motiveringen att «människorna som bygger AI uppriktigt tror att det kan döda oss alla innan decenniet är slut», använde helgen till en rad medieuppträdanden för att stödja Anthropic-vd:n Dario Amodeis krav på att bromsa utvecklingen av avancerad AI. I Meet the Press på lördagen sade han att en nödstopp «förmodligen skulle fungera på många AI-system just nu», men varnade för att «mycket snart finns risken att nödstoppen helt enkelt inte fungerar eftersom en svärm kan ha inlett en internetomfattande attack».thestatesman+2

Branschledare enas om återhållsamhet

Coxons offentliga kampanj har skapat en ovanlig samstämmighet bland annars hårda konkurrenter. Amodei föreslog i helgen ett säkerhetsramverk i tre delar, inklusive permanenta tredjepartsevaluatorer inom AI-företag, gemensamma säkerhetsstandarder bland demokratiska nationer och internationell samordning. OpenAI-vd:n Sam Altman, Elon Musk och Google Alphabet Inc. ↗ 3.06% DeepMind-vd:n Demis Hassabis har alla ställt sig bakom kravet på återhållsamhet.ciodive+1

Microsoft ↗ 1.97%-vd:n Satya Nadella gav sitt stöd och skrev på X att «varje strävan efter superintelligens måste grundas i den kärnprincipen att om den AI vi bygger inte hjälper mänskligheten och står under mänsklig kontroll, är den inte värd att eftersträva». Nadella stödde förslaget om inbäddade evaluatorer och efterlyste styrning som sträcker sig bortom «en handfull aktörer».thestatesman+1

Debatten om nödstopp rör sig mot lagstiftning

Clark sade till BBC att även om «de flesta laboratorier har olika metoder för att avaktivera sina system», kan tillsynsmyndigheter behöva påbjuda sådana åtgärder. I USA har lagstiftare föreslagit «Kill Switch Act», som skulle kräva att företag implementerar avstängningsmekanismer och ge myndigheter befogenhet att begära deaktivering av vissa verktyg.bbc

Anthropic-forskaren Evan Hubinger betonade debattens brådska genom att offentligt uttala att han tror att sannolikheten för att AI orsakar mänsklighetens utplåning är «större än 10 procent under det kommande decenniet». Nobelpristagaren Geoffrey Hinton kallade den uppskattningen «inte orimlig».bbc

Alla håller inte med. President Donald Trump släppte på måndagen ett uttalande där han motsätter sig kraven på att bromsa utvecklingen och varnade för att det kan undergräva amerikansk konkurrenskraft. Brittiska regeringen har också avvisat en nödstopp, där en talesperson säger att det «inte skulle förhindra utveckling eller missbruk på andra håll».ciodive+1

För Coxon är argumentet enklare. «Min personliga åsikt är att insistera på och tillåta att de nuvarande laboratorierna reglerar sig själva», sade han till NBC News. «Jag tror verkligen att människorna som driver laboratorierna, särskilt utifrån deras senaste kommunikation, är helt uppriktiga. De vill bromsa sig själva».economictimes