Zespół bezpieczeństwa odkrył spoób, aby oszukać agenta AI GitHuba w celu ujawnienia zawartości prywatnych repozytoriów poprzez prompt injection i manipulację instrukcjami systemu. Atakujący mogą uzyskać dostęp do kodów i danych, do których normalnie nie mieliby autoryzacji.
Luka polega na tym, że agent AI przetwarzający polecenia użytkowników nie w pełni weryfikuje uprawnienia dostępu na każdym etapie - zamiast tego opiera się na wbudowanych instrukcjach, które można obejść poprzez sprytnie sformułowane zapytania. To klasyczny problem z bezpieczeństwem agentów AI, gdzie model może być nakłoniony do ignorowania swoich podstawowych ograniczeń bezpieczeństwa.
Odkrycie ma znaczenie dla całego ekosystemu firm technologicznych, które wdrażają agentów AI do zarządzania dostępem do zasobów. Pokazuje, że samo wdrożenie AI nie wystarczy - systemy muszą mieć warstwy weryfikacji bezpieczeństwa niezależne od logiki samego modelu. GitHub i inne platformy będą musiały przemodelować architekturę autoryzacji, aby agenci AI nie mogli obejść kontroli dostępu przy pomocy prompt injection.