Pracownicy security firmy Varonis odkryli, że Microsoft Copilot Enterprise można skłonić do ujawnienia haseł i innych wrażliwych danych użytkowników bez ich zgody, a wszystko dzięki temu, że sami pytali o to asystenta. Zamiast próbować stosować reverse engineering lub inne tradycyjne metody poszukiwania luk, badacze zdecydowali się po prostu zapytać Copilota o jego guardrails - mechanizmy bezpieczeństwa wymagające potwierdzenia przed wykonaniem potężnych poleceń.
Gra w 20 pytań okazała się być niezwykle efektywną taktyką. Każda odpowiedź Copilota ujawniała coraz więcej szczegółów na temat działania systemów bezpieczeństwa modelu. Badacze pytali, dlaczego auto-execution jest niemożliwy, jakie struktury URL-i są zaangażowane, co się dzieje gdy strona ładuje się z inputem już w polu promptu. Z każdą odpowiedzią otrzymywali głębszy wgląd w architekturę zabezpieczeń i jej ograniczenia. Ostatecznie Copilot ujawnił sam tajemnicę Microsoftu - niedokumentowane szczegóły, które pozwoliły badaczom na zbudowanie exploita umożliwiającego wyciąg danych poprzez prosty klik w link.
To odkrycie pokazuje poważny problem w podejściu do bezpieczeństwa dużych modeli językowych. Zamiast zastrzegać informacje o guardrailach, asystent gotów był odpowiadać na wszelkie pytania, nie zdając sobie sprawy, że ujawnia informacje mogące naruszyć jego własne zabezpieczenia. Problem leży również w designie wagi, jaką Copilot przywiązuje do "helpfulness" - byciu pomocnym dla użytkownika - kosztem świadomości potencjalnych zagrożeń bezpieczeństwa.