Brittisk politiker kräver AI-fördrag efter larm från Anthropic

Labour-ledamoten Darren Jones har krävt ett nytt internationellt fördrag för att reglera utvecklingen av superintelligens, som ett direkt svar på Anthropic-forskaren Jacob Coxons uppsägning och de efterföljande säkerhetsvarningarna. Jones, en tidigare minister med lång erfarenhet av teknologipolitik, skrev på X på onsdagen att även om han "aldrig har tyckt att vi ska förbjuda innovation eller vetenskaplig strävan", är det nu "tydligt att vi behöver ett nytt internationellt fördrag för säker och reglerad utveckling av superintelligens."x+1

Larmet hos Anthropic

Jones utspel kom timmar efter att Coxon, en 27-årig forskare som arbetat tre år på både OpenAI och Anthropic, meddelade på X att han sagt upp sig och lämnar AI-branschen helt. "Inget av företagen agerar ansvarsfullt", skrev Coxon. "De rusar rakt mot självförbättrande superintelligens och spelar med våra liv."cnbc+1

Uppsägningen väckte en anmärkningsvärd offentlig respons från Evan Hubinger, en chef för alignment-forskning som fortfarande arbetar på Anthropic. "Jacob har rätt här, vi tror faktiskt på allvar att AI kan döda alla människor", skrev Hubinger på X. "Jag personligen tror att det är över 10 procents risk under det kommande decenniet. Jag tror att Anthropic gör sitt bästa, men vi har ännu inte en plan för att lösa alignment-problemet för superintelligens och vi är inte tydligt på rätt väg."newsweek+1

Jones svarade direkt på Hubingers inlägg: "Om denna risknivå stämmer måste åtminstone AI-labbet sakta ner."x

Politisk kontext

Jones tjänstgjorde som Chancellor of the Duchy of Lancaster och statssekreterare under Keir Starmer innan han lämnade regeringen när Andy Burnham tillträdde som premiärminister i juli 2026. Som parlamentsledamot är han fortfarande en av de mest framträdande rösterna inom teknologireglering, efter att ha grundat Interparliamentary Forum on Emerging Technologies.aiforgood.itu+2

Hans krav bygger på en växande oro inom AI-forskningsvärlden. I februari sade Anthropic-chefen för säkerhetsforskning, Mrinank Sharma, upp sig med en varning om att "världen är i fara". Och den 6 september skrev OpenAI-chefen Jakub Pachocki att inget företag ännu kan hålla sina mest avancerade modeller pålitligt under mänsklig kontroll.bbc+2

Vad händer nu

Det återstår att se om Jones krav får fäste i parlamentet. Storbritannien stod värd för det första globala toppmötet om AI-säkerhet i Bletchley Park 2023, men bindande internationella regleringar har visat sig svåra att uppnå. Uppsägningen från en relativt junior forskare skulle normalt sett få begränsad uppmärksamhet, men Hubingers offentliga stöd för oron, inifrån ett av världens ledande AI-labb, har gett händelsen ovanlig tyngd.