Analityk z US Special Operations Command prawie spowodował międzynarodowy incydent dyplomatyczny, przygotowując raport wywiadowczy, który opierał się na informacjach całkowicie zmyślonych przez AI. Według doniesień CNN statek miał przewozić komponenty chińskiego programu uzbrojenia jądrowego przez Bliski Wschód. US military przygotowało już plan przechwycenia jednostki z poparciem lotniczym, zanim wyższych rangą urzędnicy odkryli, że chatbot użyty do generowania raportu po prostu wymyślił przewożone materiały.
Incydent pokazuje fundamentalny problem z adopcją narzędzi AI w kontekście bezpieczeństwa narodowego bez odpowiednich mechanizmów kontroli. Chociaż AI może być przydatnym narzędziem do przetwarzania dużych ilości informacji, jego skłonność do hallucynacji - czyli generowania wiarygodnie brzmiących ale całkowicie fałszywych danych - czyni go niebezpiecznym, gdy używany jest bez ludzkiej weryfikacji. Problem ten jest szczególnie krytyczny w wypadku analiz, które mogą prowadzić do akcji militarnych.
Jeden ze źródeł zaznaczył dla CNN, że ten fiasco napędzany przez AI prawie doprowadził do wojny. Incydent stanowi ostrzeżenie dla całej branży bezpieczeństwa i analizy wywiadu o konieczności ustanowienia ścisłych procedur weryfikacji dla wszystkich raportów generowanych z udziałem modeli językowych, zwłaszcza gdy dotyczą potencjalnych zagrożeń dla bezpieczeństwa.