Falešná zpráva vygenerovaná AI málem vyvolala vojenský střet mezi USA a Čínou

Americká armáda se letos na jaře nebezpečně přiblížila ke konfrontaci s Čínou poté, co chatbot s umělou inteligencí vytvořil falešnou zpravodajskou zprávu tvrdící, že čínská loď na Blízkém východě převáží komponenty pro jaderné zbraně, uvedla v pátek v exkluzivním vyšetřování stanice CNN.cnn

Ozbrojení vojáci se připravovali k nalodění na loď a vojenská letadla již byla ve vzduchu, než úředníci zprávu podrobněji prozkoumali a zjistili, že hodnocení vygenerované umělou inteligencí bylo, slovy jednoho ze zdrojů, „zcela chybné“ a „téměř rozpoutalo válku“.mezha+1

Jak AI dospěla k falešnému závěru

Incident začal, když analytik velitelství speciálních operací nahrál informace o nákladovém manifestu lodi do chatbota s umělou inteligencí. Informace získalo Velitelství speciálních operací USA v Tichomoří se sídlem na Havaji. Chatbot zkombinoval zpravodajské informace z otevřených zdrojů s tajnými signálními zpravodajskými daty z vládních databází a dospěl k nesprávnému závěru o nákladu plavidla.mezha+1

Analytik poté znovu použil AI k formátování zjištění do podoby, která vypadala jako standardní zpravodajská zpráva – tedy typ dokumentu, kterému vojenští představitelé obvykle bez otázek důvěřují – a distribuoval ji vojenskými kanály. CNN se nepodařilo zjistit, co loď skutečně převážela.cnn

„Mnoho interních nástrojů jsou pouze adaptace komerčního softwaru, upravené pro vojenské použití,“ řekl CNN bývalý vysoký úředník obeznámený s vojenskými systémy AI.mezha+1

Rostoucí závislost, rostoucí riziko

Tento incident se stal v době, kdy Pentagon zrychluje zavádění AI do obranných operací. V lednu ministr obrany Pete Hegseth představil „Strategii zrychlení umělé inteligence“, jejímž cílem je zpřístupnit nástroje AI přibližně třem milionům civilních a vojenských pracovníků na všech úrovních utajení.investing+1

Podle několika amerických představitelů však toto úsilí zůstává roztříštěné. Různé vládní sektory používají různé nástroje podle odlišných bezpečnostních protokolů, přičemž neexistuje žádný jednotný standard pro ověřování informací vygenerovaných umělou inteligencí.cnn+1

Zdroje pro CNN uvedly, že armáda stále častěji využívá AI při rozhodování o cílech, což zvyšuje riziko chybných úderů, civilních obětí a incidentů „přátelské palby“, i když člověk formálně zůstává konečnou autoritou.mezha+1

Varování zevnitř

Typ „halucinace“ AI, která téměř vyvolala incident s Čínou, není podle jednoho ze zdrojů v rámci zpravodajské komunity ojedinělým jevem od doby, kdy se tyto nástroje začaly šířit. Mladší analytici, kteří jsou s nástroji AI více sžití, mohou být podle zdrojů obzvláště náchylní k tomu, aby jejich výstupy přijímali nekriticky.cnn

„AI vám umožňuje dospět k špatnému závěru rychleji,“ poznamenal jeden ze zdrojů.mezha+1