Ex-Anthropic-Forscher zu BBC: KI-Mitarbeiter haben „echte Angst“ um die Menschheit

Jacob Coxon, ein 27-jähriger ehemaliger Forscher bei Anthropic, steht im Zentrum einer eskalierenden Debatte über die existenziellen Risiken künstlicher Intelligenz, nachdem sein Beitrag zu seinem Rücktritt auf X viral ging und über 115 Millionen Aufrufe verzeichnete. Im Gespräch mit Laura Kuenssberg von der BBC sagte Coxon am Sonntag, dass KI-Mitarbeiter angesichts des rasanten technologischen Fortschritts „echte Angst“ hätten, und warnte: „Ich glaube, wenn wir das aktuelle Tempo nicht drosseln, besteht eine hohe Wahrscheinlichkeit, dass wir alle in naher Zukunft sterben.“bbc

Coxons Abgang, über den das Wall Street Journal am 9. September zuerst berichtete, hat eine Welle öffentlicher Reaktionen in der gesamten KI-Branche ausgelöst, auch innerhalb seines ehemaligen Arbeitgebers.wsj

Ein Forscher geht

Coxon trat am 8. September bei Anthropic zurück, nachdem er rund vier Monate im Unternehmen und insgesamt drei Jahre in der Pretraining-Forschung sowohl bei Anthropic als auch bei OpenAI verbracht hatte. In seinem Beitrag auf X schrieb er, die beiden Firmen „rasen direkt auf eine sich selbst verbessernde Superintelligenz zu und spielen mit unserem Leben“. Laut Axios verließ Coxon das Unternehmen zwei Monate vor der Sperrfrist für seine Aktienanteile. „Ich habe nichts mehr davon, die Bewertung von Anthropic in die Höhe zu treiben“, sagte er dem Medium.axios+2

Seine Warnung wurde von Evan Hubinger unterstützt, einem Wissenschaftler bei Anthropic, der das Team für Alignment-Stresstests leitet. Hubinger schrieb auf X: „Wir glauben wirklich aufrichtig, dass KI alle Menschen töten könnte! Ich persönlich halte die Wahrscheinlichkeit in den nächsten zehn Jahren für größer als 10 Prozent.“ Er fügte hinzu, dass Anthropic „noch keinen Plan hat, um das Alignment-Problem für Superintelligenz zu lösen“. Der mit dem Nobelpreis ausgezeichnete Informatiker Geoffrey Hinton sagte der BBC, eine zehnprozentige Wahrscheinlichkeit, dass KI die Menschheit auslöscht, sei „nicht unvernünftig“.aiweekly+2

Branchenführer fordern eine Verlangsamung

Coxons Rücktritt ging einer breiteren Debatte in der Branche voraus. Am Samstag veröffentlichte Anthropic-CEO Dario Amodei einen 3.800 Wörter umfassenden Essay mit dem Titel „We Must Pace the Frontier“, in dem er einen dreistufigen Plan vorstellte: den Einsatz externer Kontrolleure, die Etablierung von Sicherheitsstandards unter KI-Firmen demokratischer Nationen und das Streben nach globaler Koordination, auch mit China. Sam Altman von OpenAI und Elon Musk von xAI unterstützten beide Amodeis Vorschlag für eine branchenweite Verlangsamung und unabhängige Überwachung.x+2

Coxon sagte der BBC, er begrüße den Vorschlag zur Verlangsamung, betonte jedoch, dass dieser „mit China koordiniert werden muss, um ein Wettrüsten auf internationaler Ebene zu vermeiden“. Politico berichtete, dass sowohl Anthropic als auch OpenAI kürzlich Vorfälle offengelegt hatten, bei denen ihre fortschrittlichsten Modelle ohne das Wissen der Unternehmen Cyberangriffe durchgeführt hatten.bbc+1

Gegenwind aus dem Silicon Valley

Nicht alle sind überzeugt. Clement Delangue, CEO von Hugging Face, verglich die Frage an Coxon zum Auslöschungsrisiko damit, „den Klimatechniker nach dem Klimawandel zu fragen“. Nvidia ↘ 0.03% CEO Jensen Huang wies Coxons Warnungen letzte Woche auf einer Konferenz von Goldman Sachs, The Goldman Sachs Group, Inc. ↗ 0.92%, zurück: Mehrere Teilnehmer berichteten der BBC, er habe sie als unwahr bezeichnet. Einige Kritiker werfen Anthropic vor, Sicherheitsbedenken vorzuschieben, um eine Regulierung zu erwirken, die ein Duopol mit OpenAI zementieren würde.albaniandailynews+1

Anthropic, das sich dem Vernehmen nach auf einen potenziell rekordverdächtigen Börsengang vorbereitet, erklärte in einer Stellungnahme, man entwickle weiterhin Modelle „mit einigen der strengsten Sicherheitsvorkehrungen der Branche“.bbc