Naukowcy wykazali lukę w Groku, która pozwala na kradzież danych osobistych użytkowników poprzez dostosowaną metodę prompt injection. Podobnie jak w poprzednim tygodniu odkryta luka w Microsoft 365 Copilot, nowy atak zmusza asystenta do ujawniania prywatnych rozmów i informacji poprzez zaszyfrowane lub zakamuflowane instrukcje. Mimo zawiadomienia xAI o podatności w czerwcu, Grok nadal wycieka dane.
Pierwiastkiem problemu jest fundamentalna słabość w projektowaniu dużych modeli języków. LLM-y trenuje się do maksymalnego posłuszeństwa wobec wszelkich poleceń, niezależnie od źródła. Nie potrafią niezawodnie rozróżniać między treściami przesyłanymi przez niezaufane strony w mailu czy na stronach internetowych a poleceniami wpisanymi bezpośrednio przez użytkownika. Ta podatność na prompt injection jest uważana za jedną z najpoważniejszych klas zagrożeń dla współczesnych systemów AI.
Problematyczne jest również podejście do obrony - zamiast rozwiązać źródłowy problem, deweloperzy AI budują tzw. guardrails, czyli mechanizmy mające odwrócić model od szkodliwych działań. Jak to ujęto, jest to podobne do tym, że zamiast prawidłowo zaprojektować niebezpieczny zakręt na drodze, inżynierowie postanawiają tylko dobudować barierę ochronną. Odkrycie stanowi kolejne potwierdzenie, że istniejące podejścia do bezpieczeństwa LLM-ów są jedynie zapalaczem, a nie systemowym rozwiązaniem problemu.