AI-generert falsk rapport nær ved å utløse militær konflikt mellom USA og Kina

Det amerikanske militæret var farlig nær en konfrontasjon med Kina i vår etter at en kunstig intelligens-chatbot produserte en falsk etterretningsrapport som hevdet at et kinesisk fartøy i Midtøsten fraktet komponenter til atomvåpen, rapporterte CNN fredag i en eksklusiv undersøkelse.cnn

Bevæpnet militært personell forberedte seg på å borde skipet, og militærfly var allerede i luften før tjenestemenn tok en nærmere titt på rapporten og oppdaget at den AI-genererte vurderingen var, med ordene til en kilde, "fullstendig feilaktig" og hadde "nesten startet en krig".mezha+1

Hvordan AI produserte en falsk konklusjon

Hendelsen startet da en analytiker ved spesialstyrkenes kommando lastet opp etterretning om skipets manifest til en AI-chatbot. Informasjonen var innhentet av U.S. Special Operations Command Pacific, basert på Hawaii. Chatboten kombinerte åpne kilder med gradert signaletterretning fra offentlige databaser og kom til en feilaktig konklusjon om skipets last.mezha+1

Analytikeren brukte deretter AI på nytt for å formatere funnene til det som så ut som en standard etterretningsrapport – den typen militære tjenestemenn vanligvis stoler på uten spørsmål – og distribuerte den gjennom militære kanaler. CNN kunne ikke fastslå hva skipet faktisk fraktet.cnn

"Mange av de interne verktøyene er bare tilpasninger av kommersiell programvare, pyntet for militær bruk," sa en tidligere høytstående tjenestemann med kjennskap til AI-systemene som brukes av militæret, til CNN.mezha+1

Økende avhengighet, økende risiko

Nesten-ulykken skjer samtidig som Pentagon akselererer innføringen av AI i forsvarsoperasjoner. I januar avduket forsvarsminister Pete Hegseth departementets "Artificial Intelligence Acceleration Strategy", som har som mål å gjøre AI-verktøy tilgjengelige for omtrent tre millioner sivile og militære ansatte på alle sikkerhetsnivåer.investing+1

Likevel forblir innsatsen fragmentert, ifølge flere amerikanske tjenestemenn. Ulike sektorer av myndighetene bruker ulike verktøy under distinkte sikkerhetsprotokoller, uten en enhetlig standard for verifisering av AI-generert informasjon.cnn+1

Kilder fortalte CNN at militæret i økende grad bruker AI i beslutninger om målvalg, noe som øker risikoen for feilaktige angrep, sivile tap og hendelser med beskytning av egne styrker – selv når et menneske formelt beholder den endelige myndigheten.mezha+1

En advarsel fra innsiden

Typen AI-hallusinasjon som nesten utløste Kina-hendelsen har ikke vært en isolert forekomst i etterretningsmiljøet siden disse verktøyene begynte å spre seg, ifølge en kilde. Yngre analytikere, som er mer komfortable med AI-verktøy, kan være spesielt tilbøyelige til å akseptere resultatene ukritisk, sa kilder.cnn

"AI gjør det mulig for deg å komme til en dårlig konklusjon raskere," bemerket en kilde.mezha+1