Un faux rapport généré par IA a failli déclencher un conflit militaire entre les États-Unis et la Chine

L'armée américaine a frôlé une confrontation avec la Chine ce printemps après qu'un chatbot d'intelligence artificielle a produit un faux rapport de renseignement affirmant qu'un navire chinois au Moyen-Orient transportait des composants d'armes nucléaires, a rapporté CNN vendredi dans une enquête exclusive.cnn

Des militaires armés se préparaient à monter à bord du navire et des avions militaires étaient déjà en vol avant que les responsables n'examinent le rapport de plus près et ne découvrent que l'évaluation générée par l'IA était, selon les mots d'une source, "totalement erronée" et avait "failli déclencher une guerre".mezha+1

Comment l'IA a produit une fausse conclusion

L'incident a commencé lorsqu'un analyste du commandement des opérations spéciales a téléchargé des renseignements sur le manifeste du navire dans un chatbot d'IA. Les informations avaient été obtenues par le Commandement des opérations spéciales du Pacifique des États-Unis, basé à Hawaï. Le chatbot a combiné des renseignements de source ouverte avec des renseignements d'origine électromagnétique classifiés provenant de bases de données gouvernementales et a abouti à une conclusion incorrecte sur la cargaison du navire.mezha+1

L'analyste a ensuite utilisé l'IA pour mettre en forme les résultats dans ce qui semblait être un rapport de renseignement standard, le genre de document auquel les responsables militaires font généralement confiance sans poser de questions, et l'a distribué via les canaux militaires. CNN n'a pas pu déterminer ce que le navire transportait réellement.cnn

"Bon nombre des outils internes ne sont que des adaptations de logiciels commerciaux, habillés pour un usage militaire", a déclaré à CNN un ancien haut responsable familier avec les systèmes d'IA utilisés par l'armée.mezha+1

Dépendance croissante, risque croissant

Cet incident survient alors que le Pentagone accélère l'adoption de l'IA dans toutes ses opérations de défense. En janvier, le secrétaire à la Défense, Pete Hegseth, a dévoilé la "Stratégie d'accélération de l'intelligence artificielle" du département, visant à mettre des outils d'IA à la disposition d'environ trois millions de membres du personnel civil et militaire à tous les niveaux de classification.investing+1

Cependant, l'effort reste fragmenté, selon plusieurs responsables américains. Différents secteurs du gouvernement emploient divers outils selon des protocoles de sécurité distincts, sans norme unifiée pour vérifier les informations générées par l'IA.cnn+1

Des sources ont déclaré à CNN que l'armée utilise de plus en plus l'IA dans les décisions de ciblage, augmentant le risque de frappes erronées, de pertes civiles et d'incidents de tir ami, même lorsqu'un humain conserve formellement l'autorité finale.mezha+1

Un avertissement de l'intérieur

Le type d'"hallucination" de l'IA qui a failli déclencher l'incident avec la Chine n'est pas un cas isolé au sein de la communauté du renseignement depuis que ces outils ont commencé à proliférer, selon une source. Les analystes plus jeunes, qui sont plus à l'aise avec les outils d'IA, peuvent être particulièrement enclins à accepter leurs résultats sans esprit critique, ont indiqué les sources.cnn

"L'IA vous permet d'arriver à une mauvaise conclusion plus rapidement", a fait remarquer une source.mezha+1