Wojsko Stanów Zjednoczonych miało niebezpieczne doświadczenie z systemem AI, który wygenerował całkowicie wymyślony raport wywiadowczy dotyczący chińskiego statku. Fałszywe informacje mogły mieć poważne konsekwencje dyplomatyczne i militarne, gdyby nie zostały wykryte przed rozpowszechnieniem.
Incydent ilustruje fundamentalny problem z hallucynacjami AI - tendencję modeli do tworzenia fałszywych, ale przekonujących informacji, szczególnie gdy są wykorzystywane w wysokościowych kontekstach takich jak analiza wywiadu. Systemy AI mogą generować dane statystyczne, cytaty, a nawet całe dokumenty z całkowitą pewnością, nawet jeśli informacje są całkowicie fikcyjne. W wojskowych aplikacjach może to prowadzić do tragicznych decyzji opartych na zmyślonych przesłankach.
To doświadczenie podkreśla pilną potrzebę wdrożenia rygorystycznych systemów weryfikacji, przeszkolenia operatorów w ograniczeniach AI oraz ustanowienia jasnych protokołów, które gwarantują ludzką ocenę przed wykorzystaniem AI-generowanych informacji w decyzjach o znaczeniu strategicznym. Bez takich zabezpieczeń, rozpowszechnianie systemów AI w sektorze obronnym i wywiadu może stwarzać nieproporcjonalne ryzyka.