Badacze zidentyfikowali lukę bezpieczeństwa w 9 najpopularniejszych narzędziach AI, która pozwala hakerom na automatyczne wstrzykiwanie złośliwych poleceń i budowanie ogromnych botnetów. Problem tkwi w fundamentalnym ograniczeniu dużych modeli językowych - nie potrafią one rozróżnić między legalnymi instrukcjami użytkownika a złośliwymi poleceniami ukrytymi w wiadomościach e-mail, kodzie źródłowym lub innych treściach trzecich stron, które model przetwarza.
Dotychczasowe ataki wykorzystujące prompt injection były w znacznej mierze ograniczone do modelu "push", w którym każda potencjalna ofiara musi być atakowana indywidualnie. Haker musi wstrzyknąć złośliwe instrukcje w konkretną wiadomość e-mail lub zaproszenie kalendarza dla każdego celu, co znacznie ogranicza skalę ataku. Odkryta metoda zmienia to dramatycznie - pozwala na automatyczne wykorzystanie luk w popularnych narzędziach AI do masowego zebrania zainfekowanych systemów w scentralizowaną sieć botnetów.
Problemu nie rozwiąże się prostymi zabezpieczeniami. Twórcy AI engine'ów nie są w stanie wyegzekwować fundamentalnej granicy między zaufanymi a niezaufanymi źródłami danych. W praktyce muszą oni polegać na skomplikowanych guardrails - mechanizmach łagodzących potencjalne szkody, zamiast rozwiązać problem u źródła. To odsłania poważną lukę w architekturze współczesnych systemów AI, które w coraz większym stopniu są integrowane z kluczową infrastrukturą i procesami biznesowymi.