Anthropic-gründer mener lovpålagt «nødstopp» for KI kan bli nødvendig

Tidligere Anthropic- og OpenAI-forsker Jacob Coxon, hvis oppsigelse forrige uke skapte stor uro i teknologibransjen, uttalte til NBC News' Meet the Press at selv om det teknisk sett er mulig å slå av KI-systemer i dag, kan mulighetsvinduet snart lukkes. Advarselen kom samtidig som Anthropic-medgründer Jack Clark uttalte til BBC at en tredjepartsverifisert «nødstopp» kan bli et lovkrav for KI-selskaper.bbc

Coxon, som sa opp sin stilling i Anthropic 9. september med begrunnelsen at «menneskene som bygger KI oppriktig tror at det kan ta livet av oss alle innen tiåret er omme», brukte helgen på en rekke medieopptredener for å støtte Anthropic-sjef Dario Amodeis oppfordring om å bremse utviklingen av avansert KI. I Meet the Press på lørdag sa han at en nødstopp «sannsynligvis ville fungert på mange KI-er nå», men advarte om at «svært snart er det en mulighet for at nødstoppen rett og slett ikke vil fungere fordi en sverm kan ha startet et internettomspennende angrep».thestatesman+2

Bransjeledere samler seg om moderasjon

Coxons offentlige kampanje har ført til en uvanlig enighet blant ellers harde konkurrenter. Amodei foreslo i helgen et sikkerhetsrammeverk i tre deler, inkludert permanente tredjepartsevaluatorer i KI-selskaper, felles sikkerhetsstandarder blant demokratiske nasjoner og internasjonalt samarbeid. OpenAI-sjef Sam Altman, Elon Musk og Google Alphabet Inc. ↗ 3.06% DeepMind-sjef Demis Hassabis har alle støttet det bredere kravet om moderasjon.ciodive+1

Microsoft ↗ 1.97%-sjef Satya Nadella ga sin støtte og skrev på X at «enhver jakt på superintelligens må være forankret i det grunnleggende prinsippet om at hvis KI-en vi bygger ikke hjelper menneskeheten og er under menneskelig kontroll, er den ikke verdt å forfølge». Nadella støttet forslaget om innebygde evaluatorer og etterlyste styring som strekker seg utover «en håndfull aktører».thestatesman+1

Debatt om nødstopp beveger seg mot lovgivning

Clark uttalte til BBC at selv om «de fleste laboratorier har ulike metoder for å deaktivere sine systemer», kan myndighetene måtte pålegge slike tiltak. I USA har lovgivere foreslått «Kill Switch Act», som vil kreve at selskaper implementerer nedstengningsmekanismer og gi offentlige etater fullmakt til å kreve deaktivering av visse verktøy.bbc

Anthropic-forsker Evan Hubinger understreket alvoret i debatten ved offentlig å si at han mener sannsynligheten for at KI forårsaker menneskelig utryddelse er «større enn 10 prosent i løpet av det neste tiåret». Nobelprisvinner Geoffrey Hinton kalte anslaget «ikke urimelig».bbc

Ikke alle er enige. President Donald Trump kom mandag med en uttalelse der han motsetter seg oppfordringen om å bremse utviklingen, og advarte om at det kan svekke amerikansk konkurransekraft. Britiske myndigheter har også avvist en nødstopp, med en talsperson som sier at det «ikke ville forhindret utvikling eller misbruk andre steder».ciodive+1

For Coxon er argumentet enklere. «Min personlige mening er å insistere på og tillate at de nåværende laboratoriene regulerer seg selv», sa han til NBC News. «Jeg tror virkelig at menneskene som driver laboratoriene, spesielt ut fra deres nylige kommunikasjon, er helt oppriktige. De ønsker å bremse seg selv».economictimes