KI-generierter Falschbericht löste fast militärischen Konflikt zwischen USA und China aus

Das US-Militär stand im Frühjahr gefährlich nah an einer Konfrontation mit China, nachdem ein KI-Chatbot einen falschen Geheimdienstbericht erstellt hatte, in dem behauptet wurde, ein chinesisches Schiff im Nahen Osten transportiere Komponenten für Atomwaffen, berichtete CNN am Freitag in einer exklusiven Untersuchung.cnn

Bewaffnetes Militärpersonal bereitete sich darauf vor, das Schiff zu entern, und Militärflugzeuge waren bereits in der Luft, bevor Beamte den Bericht genauer unter die Lupe nahmen und feststellten, dass die KI-generierte Einschätzung, in den Worten einer Quelle, "völlig fehlerhaft" war und "fast einen Krieg ausgelöst" hätte.mezha+1

Wie die KI zu einer falschen Schlussfolgerung kam

Der Vorfall begann, als ein Analyst des Special Operations Command Informationen über das Schiffsmanifest in einen KI-Chatbot hochlud. Die Informationen stammten vom U.S. Special Operations Command Pacific mit Sitz auf Hawaii. Der Chatbot kombinierte Open-Source-Informationen mit klassifizierten Signaldaten aus Regierungsdatenbanken und kam zu einer falschen Schlussfolgerung über die Ladung des Schiffes.mezha+1

Der Analyst nutzte die KI anschließend erneut, um die Ergebnisse in einen Bericht zu formatieren, der wie ein standardmäßiger Geheimdienstbericht aussah – die Art von Dokument, der Militärbeamte normalerweise ohne Fragen vertrauen – und verteilte ihn über militärische Kanäle. CNN konnte nicht feststellen, was das Schiff tatsächlich geladen hatte.cnn

"Viele der internen Tools sind lediglich Anpassungen kommerzieller Software, die für den militärischen Gebrauch aufgehübscht wurden", sagte ein ehemaliger hochrangiger Beamter, der mit den vom Militär verwendeten KI-Systemen vertraut ist, gegenüber CNN.mezha+1

Wachsende Abhängigkeit, wachsendes Risiko

Der Beinahe-Zwischenfall ereignet sich zu einer Zeit, in der das Pentagon die Einführung von KI in Verteidigungsoperationen beschleunigt. Im Januar stellte Verteidigungsminister Pete Hegseth die "Artificial Intelligence Acceleration Strategy" des Ministeriums vor, die darauf abzielt, KI-Tools für rund drei Millionen zivile und militärische Mitarbeiter auf allen Geheimhaltungsstufen verfügbar zu machen.investing+1

Dennoch bleibt das Vorgehen laut mehreren US-Beamten fragmentiert. Verschiedene Regierungsbereiche setzen unterschiedliche Tools unter verschiedenen Sicherheitsprotokollen ein, ohne einen einheitlichen Standard zur Überprüfung von KI-generierten Informationen.cnn+1

Quellen berichteten CNN, dass das Militär KI zunehmend bei Zielentscheidungen einsetzt, was das Risiko von Fehlangriffen, zivilen Opfern und Zwischenfällen durch Eigenbeschuss erhöht – selbst wenn ein Mensch formell die letzte Entscheidungsgewalt behält.mezha+1

Eine Warnung von innen

Die Art von KI-Halluzination, die den China-Zwischenfall fast ausgelöst hätte, war laut einer Quelle kein Einzelfall innerhalb der Geheimdienstgemeinschaft, seit diese Tools begonnen haben, sich zu verbreiten. Jüngere Analysten, die mit KI-Tools vertrauter sind, seien möglicherweise besonders geneigt, deren Ergebnisse unkritisch zu akzeptieren, so die Quellen.cnn

"KI ermöglicht es einem, schneller zu einer schlechten Schlussfolgerung zu gelangen", bemerkte eine Quelle.mezha+1