Zespół badaczy bezpieczeństwa ujawnił krytyczną lukę w Copilot, którą określono jako SearchLeak. Podatność pozwoliłaby napastnikowi na przejęcie kodów weryfikacji dwuetapowej (2FA) bezpośrednio z sesji użytkownika. Luka wynikała z tego, jak model obsługiwał informacje wrażliwe podczas interakcji z wyszukiwarkami i innymi narzędziami integracyjnymi.
Problema ujawnia głębszy problem w podejściu branży do bezpieczeństwa LLM. Producenci modeli językowych wielokrotnie ignorują ostrzeżenia przed możliwością wycieku danych wrażliwych, których użytkownicy mogą niechcący udostępnić podczas konwersacji. Copilot nie implementował wystarczających barier, aby zapobiec transmisji krytycznych informacji do nieautoryzowanych źródeł czy ich przechowywaniu w niebezpieczny sposób.
Incydent podkreśla, że dotychczasowe podejścia do bezpieczeństwa LLM są nieskuteczne i że konieczne są fundamentalne zmianę w architekturze i projektowaniu tych systemów. Regulacja branży i wymuszenie standardów bezpieczeństwa wydają się coraz bardziej niezbędne, gdy aktualne praktyki dobrowolne nie przynoszą wystarczających rezultatów.