Före detta DeepMind-forskare startar ideell organisation för att behålla mänsklig kontroll över AI-säkerhet

En grupp före detta Google Alphabet Inc. ↘ 1.23% DeepMind-forskare har lanserat en ideell organisation vid namn Sampura Research, dedikerad till att säkerställa att människor förblir centrala i tillsynen av allt kraftfullare AI-system. Den London-baserade organisationen, som formellt tillkännagavs den 24 augusti, syftar till att bygga vad de kallar starkare "domare" – hybrida människa-AI-system som kan utvärdera om modeller beter sig säkert och som avsett.bloomberg+2

Ett motargument till AI-övervakning av AI

Sampura Research grundades av Rishub Jain, Joshua Jacob och Alex Adams, som alla tidigare arbetat på Google DeepMind. Jain tillbringade sju år på laboratoriet, inklusive två år med fokus på skalbar tillsynsforskning och bidrag till projekt som AlphaFold. Jacob var medledare för mänsklig datateknik på DeepMind och arbetade tidigare på Waymo.EdTech Innovation Hub+4

Den ideella organisationen positionerar sig som ett motargument till den rådande branschmetoden att använda AI för att övervaka AI – en metod som ger snabbhet men som, enligt Jain, fortfarande lämnar luckor som mänskligt omdöme kan hjälpa till att fylla. Enligt Bloomberg anser Jain att människor behåller en väsentlig roll i att verifiera modellbeteende, även när AI-system blir mer kapabla.Bloomberg Law+1

Att bygga infrastrukturen för tillsyn

Sampuras forskningsagenda fokuserar på att utveckla dataset som mäter hur effektivt människor och AI-system kan verifiera modellutdata, för att sedan använda dessa riktmärken för att förbättra tillsynsmetoder. Organisationen definierar en "domare" som "en människa, AI eller ett hybridsystem som bedömer korrekthet och anpassning av en AI:s beteende i en konversation eller agentbana".sampura+1

Planerade arbetsflöden inkluderar framåtblickande dataset för skaderisker, metoder för att fördela deluppgifter mellan människor och AI, samt en plattform med öppen källkod för mänsklig bedömning. Teamet rekryterar minst sex erfarna AI-forskare i London, med löner från 100 000 till 290 000 pund.EdTech Innovation Hub+1

Mitt i en bredare säkerhetsdebatt

Lanseringen sker under en period av ökad oro för kapaciteten inom AI-tillsyn. En rapport från Reuters noterade att AI-företag "ännu inte kan kontrollera vad de har byggt", medan den ideella organisationen METR – som oberoende utvärderar frontlinjemodeller för OpenAI, Anthropic, Google och Meta ↗ 1.07% – har kämpat med att anställa tillräckligt med personal trots löner över 500 000 dollar. I slutet av juli undertecknade mer än 1 100 AI-utövare ett öppet brev där de uppmanade den amerikanska regeringen att stödja en internationell mekanism för att bromsa utvecklingen av frontlinjeteknik när det behövs.news.aibase.com+2

Jains avhopp var en del av en bredare talangflykt från DeepMind i juni 2026, under vilken laboratoriet förlorade fem kärnforskare på sex dagar.kucoin.com