Izrael utworzył fałszywą think tank w ramach wyglądu operacji mającej na celu manipulowanie odpowiedziami chatbotów AI. Celem było wstrzyknięcie sztucznie stworzonych, lecz pozornie wiarygodnych materiałów badawczych do źródeł danych, z których uczą się modele takie jak ChatGPT, aby wpływać na sposób, w jaki systemy AI odpowiadają na pytania dotyczące kwestii politycznych i społecznych.
Ta taktyka jest szczególnie efektywna dlatego, że chatboty opierają się na dużych zbiorach danych treningowych zebranych z internetu. Jeśli źródło wygląda na legitymowaną instytucję - taką jak think tank - indeksatory mogą je rozpoznać i uwzględnić w materiałach szkoleniowych. Gdy model AI zostanie wytrenowany na takich fałszywych materiałach, naturalnie będzie skłonny reprodukować zawarte w nich narracje, nawet jeśli są one zwodnicze czy propagandowe.
Odkrycie pokazuje znacznie szerszą vulnerabilność w ekosystemie sztucznej inteligencji. Aktywne podmioty instytucjonalne, rządy czy korporacje mogą teraz systematycznie kształtować wyniki AI przez zatruwanie źródeł danych. To podnosi pytania o możliwość manipulacji opinią publiczną na skalę bezzałożenia - jeśli ludzie coraz bardziej polega na chatbotach szukając informacji, kontrolowanie danych treningowych staje się narzędziem wpływu niewiele gorszym od kontroli mediów tradycyjnych.