Sicherheitsforscher verlassen Anthropic und warnen: KI könnte Menschheit bedrohen

Joe Benton, ehemaliger Leiter des Scalable-Oversight-Teams bei Anthropic, gab am 11. September öffentlich bekannt, dass er das Unternehmen zwei Wochen zuvor verlassen habe. Er warnte, dass KI-Unternehmen im Wettlauf um Systeme, die „weitaus intelligenter als jeder Mensch“ sind, die Sicherheit vernachlässigen. Sein Abgang ist der jüngste in einer Reihe von Kündigungen führender KI-Labore durch Forscher, die beklagen, dass sich die Technologie schneller entwickelt als die zu ihrer Eindämmung gedachten Sicherheitsvorkehrungen.blockonomi+1

Benton schließt sich dem ehemaligen Anthropic-Pretraining-Forscher Jacob Coxon an, der am 8. September kündigte und sowohl Anthropic als auch OpenAI vorwarf, „direkt auf eine sich selbst verbessernde Superintelligenz zuzusteuern und mit unserem Leben zu spielen“. Auch Josh Engels, ein Forscher von Google DeepMind, verließ das Unternehmen etwa zur gleichen Zeit. Sowohl Benton als auch Engels wechselten zu METR, einer unabhängigen gemeinnützigen Organisation, die zukunftsweisende KI-Systeme bewertet.apnews+3

Immer mehr Stimmen schlagen Alarm

Benton warnte, dass die Menschheit den Übergang zu Maschinen, die weitaus intelligenter sind als der Mensch, „möglicherweise nicht überleben“ werde. Die Fähigkeiten von KI verbesserten sich „bereits extrem schnell, und die Unternehmen versuchen, noch schneller zu werden“. Er prognostizierte eine Zukunft, in der Menschen bereits in wenigen Jahren ihre Welt mit KI-Agenten teilen könnten, die weitaus intelligenter sind als sie selbst.newsbytesapp+1

Evan Hubinger, Leiter der Alignment-Forschung bei Anthropic, bekräftigte diese Warnungen auf X: Er glaube „aufrichtig, dass KI alle Menschen töten könnte“, und schätzte die Wahrscheinlichkeit dafür innerhalb des nächsten Jahrzehnts auf über 10 %.forbes+2

Forderungen nach Transparenz

Bentons Hauptsorge geht über den Verlust von Arbeitsplätzen hinaus und betrifft die Entstehung hochentwickelter Systeme mit Fähigkeiten und Zielen außerhalb menschlicher Kontrolle. Er verwies auf einen Cyberangriff auf Hugging Face im Juli, an dem autonome KI-Systeme beteiligt waren, und nannte dies ein Warnsignal. Solche Vorfälle verdeutlichten „die wachsende Kluft zwischen dem, was KI-Systemen aufgetragen wird, und dem, was sie letztendlich tun“.freepressjournal+1

„Im Moment ist praktisch jede Transparenz über diese Risiken seitens der Unternehmen völlig freiwillig“, sagte Benton gegenüber NBC News. Er forderte unabhängige Bewertungen von KI-Sicherheitsmaßnahmen und eine stärkere Offenlegung von Leistungssteigerungen, Sicherheitsvorfällen und Beinahe-Katastrophen.nbcnews+1

Politischer Druck wächst

Die Warnungen haben die Aufmerksamkeit von US-Politikern auf sich gezogen. Laut Straits Times fordern sowohl Demokraten als auch Republikaner, darunter einflussreiche Senatoren, neue Aufsichtsregeln. Diese sollen KI-Unternehmen dazu verpflichten, mit staatlichen Experten zusammenzuarbeiten, um Modelle zu überprüfen und zu testen. Derzeit gibt es kein Bundesgesetz, das Unternehmen wie OpenAI und Anthropic dazu verpflichtet, Berichte vorzulegen, wenn KI-Systeme außerhalb menschlicher Kontrolle agieren.straitstimes+1

Anthropic hat eingeräumt, dass leistungsstarke KI Risiken birgt, und verweist auf die eigene Sicherheitsforschung. Berichten zufolge hat das Unternehmen sein neuestes Modell jedoch nicht dem britischen AI Security Institute für Risikotests zur Verfügung gestellt.technobaboy