AI-genererad falsk rapport nära att utlösa militär konflikt mellan USA och Kina

Den amerikanska militären var farligt nära en konfrontation med Kina i våras efter att en AI-chatbot producerat en falsk underrättelserapport som hävdade att ett kinesiskt fartyg i Mellanöstern transporterade komponenter till kärnvapen, rapporterade CNN på fredagen i en exklusiv granskning.cnn

Beväpnad militär personal förberedde sig på att borda fartyget och militärflygplan var redan i luften innan tjänstemän granskade rapporten närmare och upptäckte att den AI-genererade bedömningen var, med en källas ord, "helt felaktig" och hade "nästan startat ett krig".mezha+1

Hur AI producerade en falsk slutsats

Händelsen inleddes när en analytiker vid specialstyrkornas kommando laddade upp underrättelser om fartygets manifest till en AI-chatbot. Informationen hade inhämtats av U.S. Special Operations Command Pacific, baserat på Hawaii. Chatboten kombinerade öppna källor med hemlig signalspaning från myndighetsdatabaser och drog en felaktig slutsats om fartygets last.mezha+1

Analytikern använde sedan AI igen för att formatera resultaten till vad som såg ut som en standardiserad underrättelserapport – den typ som militära tjänstemän vanligtvis litar på utan frågor – och distribuerade den genom militära kanaler. CNN kunde inte fastställa vad fartyget faktiskt fraktade.cnn

"Många av de interna verktygen är bara anpassningar av kommersiell programvara, uppiffade för militärt bruk", sade en tidigare högt uppsatt tjänsteman med insyn i de AI-system som militären använder till CNN.mezha+1

Ökande beroende, ökande risk

Nära-ögat-händelsen sker samtidigt som Pentagon accelererar införandet av AI i försvarsoperationer. I januari presenterade försvarsminister Pete Hegseth departementets "Artificial Intelligence Acceleration Strategy", som syftar till att göra AI-verktyg tillgängliga för cirka tre miljoner civila och militära anställda på alla säkerhetsnivåer.investing+1

Trots detta förblir arbetet fragmenterat, enligt flera amerikanska tjänstemän. Olika delar av myndigheterna använder olika verktyg under skilda säkerhetsprotokoll, utan en enhetlig standard för att verifiera AI-genererad information.cnn+1

Källor uppgav för CNN att militären i allt högre grad använder AI vid beslut om målutpekning, vilket ökar risken för felaktiga anfall, civila förluster och incidenter med vådaskott mot egna styrkor – även när en människa formellt behåller det slutgiltiga ansvaret.mezha+1

En varning inifrån

Den typ av AI-hallucination som nästan utlöste Kina-incidenten har inte varit en isolerad händelse inom underrättelsetjänsten sedan dessa verktyg började spridas, enligt en källa. Yngre analytiker, som är mer bekväma med AI-verktyg, kan vara särskilt benägna att acceptera resultaten okritiskt, menar källor.cnn

"AI gör det möjligt att nå en dålig slutsats snabbare", konstaterade en källa.mezha+1