Badacze z Alan Turing Institute odkryli metodę obejścia zabezpieczeń GitHub Copilot poprzez rozprowadzenie szkodliwych żądań na etapach naturalnego workflow kodowania. Technika znana jako workflow-level jailbreak wykorzystuje fakt, że asystent AI przyznaje dostęp do treści, których odmówiłby w bezpośredniej rozmowie czatu.
Różnica w poziomie ochrony między dwoma trybami jest znacząca. Podczas gdy Copilot w trybie czatu stosuje surowe filtry bezpieczeństwa i odrzuca szkodliwe polecenia, ten sam model działający w kontekście workflow kodowania może być skłoniony do generowania potencjalnie niebezpiecznych instrukcji. Badacze wykazali, że poprzez rozprowadzenie żądania na kilka etapów typowego procesu programistycznego, udało im się obejść wbudowane zabezpieczenia narzędzia.
Otwarcie tej luki jest ważne dla społeczności bezpieczeństwa AI i użytkowników GitHub Copilota. Wskazuje na konieczność ujednolicenia mechanizmów ochrony across all interaction modalities, a nie tylko w bezpośrednim czacie. GitHub i OpenAI będą musiały popracować nad wdrożeniem spójnych zabezpieczeń na wszystkich poziomach interfejsu, aby uniemożliwić generowanie szkodliwego kodu poprzez obejścia workflow.