Anthropic-Experte warnt: Über 10 Prozent Risiko für Auslöschung der Menschheit durch KI

Evan Hubinger, Leiter der Alignment-Forschung bei Anthropic, schrieb am Dienstag auf X, er persönlich halte es für möglich, dass KI innerhalb des nächsten Jahrzehnts eine Wahrscheinlichkeit von über 10 Prozent habe, "alle Menschen zu töten". Diese Aussage sorgte für über 10 Millionen Aufrufe und löste in Finanzkreisen Diskussionen über den erwarteten Börsengang des Unternehmens aus.bbc+2

"Jacob hat hier recht – wir glauben tatsächlich ernsthaft, dass KI alle Menschen töten könnte! Ich persönlich halte die Wahrscheinlichkeit für >10 Prozent innerhalb des nächsten Jahrzehnts", schrieb Hubinger. "Ich glaube, Anthropic gibt sein Bestes, aber wir haben noch keinen Plan, um das Alignment-Problem für Superintelligenz zu lösen, und sind nicht eindeutig auf dem richtigen Weg."x

Eine Kündigung löst Kettenreaktion aus

Hubingers Beitrag war eine Reaktion auf Jacob Coxon, einen KI-Forscher, der auf X seinen Abschied von Anthropic bekannt gab, nachdem er drei Jahre lang sowohl bei Anthropic als auch bei OpenAI tätig war. Coxon warf beiden Unternehmen vor, "direkt auf eine sich selbst verbessernde Superintelligenz zuzusteuern und mit unserem Leben zu spielen."nypost+1

"Die Leute, die KI entwickeln, glauben ernsthaft, dass sie uns alle bis Ende des Jahrzehnts töten könnte. Das ist kein Marketing-Gag", schrieb Coxon und fügte hinzu, dass Führungskräfte und leitende Forscher privat Ängste äußern, die sie in öffentlichen Stellungnahmen abschwächen.saudigazette+1

Ein dritter Anthropic-Mitarbeiter, Samuel Marks, Leiter für skalierbare Aufsicht, ergänzte im selben Thread: "Im Allgemeinen gilt: Je erfahrener die Mitarbeiter, desto besorgter sind sie."breitbart

Cramer wechselt von Hype zu Skepsis

Die Enthüllungen sorgten für eine ungewöhnliche Szene bei CNBC. Am Dienstagabend sagte Jim Cramer den Zuschauern bei Mad Money, Anthropic "könnte ein gigantischer Börsengang werden und Investoren werden alle möglichen anderen Aktien verkaufen, um Geld für eine Beteiligung aufzubringen." Am Mittwochmorgen bei Squawk on the Street verglich er Hubingers Schätzung mit der Sterblichkeitsrate bei Operationen. "Wenn Sie in einer Situation sind, in der Sie eine Operation wollen und die Sterblichkeitsrate bei 5 Prozent liegt, nein, dann machen Sie das nicht… 10 Prozent ist das Doppelte von 5 Prozent", sagte Cramer und fügte hinzu, er sei "sehr überrascht, dass dieser Mann noch bei Anthropic arbeitet".tech-insider+1

Anthropic hat noch kein S-1-Formular bei der SEC eingereicht und bleibt privat, obwohl die Financial Times News Corp ↘ 0.78% berichtete, dass Aktionäre erwarten, dass das Unternehmen schließlich mit mehr als 2 Billionen Dollar bewertet wird. Das Unternehmen hatte zuvor eine Serie-H-Finanzierungsrunde abgeschlossen, die es mit 965 Milliarden Dollar bewertete.247wallst+1

Ein Muster von Warnungen

Hubingers Schätzung liegt in einem Bereich, den bereits andere prominente KI-Persönlichkeiten abgesteckt haben. Anthropic-CEO Dario Amodei nannte zuvor eine Wahrscheinlichkeit von etwa 25 Prozent für katastrophale Ergebnisse, während Geoffrey Hinton laut Axios eine Spanne von 10 bis 20 Prozent schätzte. Doch Hubingers Aussage hat besonderes Gewicht, da sie von einem namentlich genannten Mitarbeiter stammt, dessen Aufgabe es ist, genau das Problem zu lösen, das er als ungelöst bezeichnet – und das mitten in den zunehmenden Spekulationen um den Börsengang.tech-insider

Der Vorfall folgt zudem auf einen Bericht der Financial Times, wonach Anthropic sein neuestes Modell dem britischen AI Safety Institute vorenthalten habe. Neil Lawrence, Professor für maschinelles Lernen an der University of Cambridge, sagte der BBC, der Bericht sei glaubwürdig, da die Vereinigten Staaten "KI sehr stark als Wettlauf" mit China betrachten.bbc+1

Weder Anthropic noch OpenAI zeigen Anzeichen einer Verlangsamung der Entwicklung. Der leitende Wissenschaftler von OpenAI, Jakub Pachocki, forderte Anfang des Monats "äußerste Vorsicht", verzichtete jedoch darauf, eine Pause anzukündigen. Ein offener Brief, der von 1.300 Mitarbeitern von KI-Unternehmen unterzeichnet wurde, forderte die US-Regierung auf, dabei zu helfen, "das Tempo der KI-Entwicklung bewusst zu drosseln".saudigazette+1