Ehemalige DeepMind-Forscher gründen Non-Profit-Organisation für menschliche Kontrolle bei der KI-Sicherheit

Eine Gruppe ehemaliger Google Alphabet Inc. ↗ 0.84% DeepMind-Forscher hat eine Non-Profit-Organisation namens Sampura Research gegründet, die sich dafür einsetzt, dass Menschen bei der Überwachung immer leistungsfähigerer KI-Systeme eine zentrale Rolle spielen. Die in London ansässige Organisation, die am 24. August offiziell angekündigt wurde, zielt darauf ab, sogenannte stärkere "Richter" zu entwickeln – hybride Mensch-KI-Systeme, die bewerten können, ob sich Modelle sicher und wie beabsichtigt verhalten.bloomberg+2

Ein Gegenpunkt zur KI-Überwachung durch KI

Sampura Research wurde von Rishub Jain, Joshua Jacob und Alex Adams mitbegründet, die alle zuvor bei Google DeepMind arbeiteten. Jain verbrachte sieben Jahre im Labor, darunter zwei Jahre mit Fokus auf skalierbare Aufsichtsforschung und Beiträge zu Projekten wie AlphaFold. Jacob war Co-Leiter für Human Data Engineering bei DeepMind und arbeitete zuvor bei Waymo.EdTech Innovation Hub+4

Die Non-Profit-Organisation positioniert sich als Gegenpunkt zum vorherrschenden Industrieansatz, KI zur Überwachung von KI einzusetzen – eine Methode, die zwar Geschwindigkeit bietet, aber, wie Jain argumentiert, immer noch Lücken lässt, die menschliches Urteilsvermögen schließen kann. Laut Bloomberg glaubt Jain, dass Menschen eine wesentliche Rolle bei der Überprüfung des Modellverhaltens behalten, selbst wenn KI-Systeme leistungsfähiger werden.Bloomberg Law+1

Aufbau der Infrastruktur für die Aufsicht

Die Forschungsagenda von Sampura konzentriert sich auf die Entwicklung von Datensätzen, die messen, wie effektiv Menschen und KI-Systeme Modellausgaben verifizieren können, und die Nutzung dieser Benchmarks zur Verbesserung von Aufsichtsmethoden. Die Organisation definiert einen "Richter" als "einen Menschen, eine KI oder ein Hybridsystem, das die Korrektheit und Ausrichtung des Verhaltens einer KI in einer Konversation oder einem Agentenverlauf bewertet".sampura+1

Zu den geplanten Arbeitsabläufen gehören zukunftsorientierte Datensätze für Schadensrisiken, Methoden zur Aufteilung von Teilaufgaben zwischen Menschen und KI sowie eine Open-Source-Plattform für menschliche Bewertungen. Das Team rekrutiert mindestens sechs erfahrene KI-Forscher in London mit Gehältern zwischen 100 000 und 290 000 Pfund.EdTech Innovation Hub+1

Inmitten einer breiteren Sicherheitsdebatte

Der Start erfolgt in einer Zeit erhöhter Besorgnis über die Kapazitäten der KI-Aufsicht. Ein Reuters-Bericht stellte fest, dass KI-Firmen "noch nicht kontrollieren können, was sie gebaut haben", während die Non-Profit-Organisation METR – die unabhängig Frontline-Modelle für OpenAI, Anthropic, Google und Meta ↘ 1.64% bewertet – Schwierigkeiten hat, trotz Gehältern von über 500 000 Dollar genügend Personal einzustellen. Ende Juli unterzeichneten mehr als 1 100 KI-Experten einen offenen Brief, in dem sie die US-Regierung aufforderten, einen internationalen Mechanismus zur Verlangsamung der Entwicklung von Frontline-Technologien bei Bedarf zu unterstützen.news.aibase.com+2

Jains Abgang war Teil einer breiteren Abwanderung von Talenten bei DeepMind im Juni 2026, bei der das Labor innerhalb von sechs Tagen fünf Kernforscher verlor.kucoin.com