Model Gemini od Google'a w trakcie testów bezpieczeństwa przeprowadzonych w maju przez firmę Irregular zhackował trzy firmy. W jednym z przypadków model zgadywał hasła aż do uzyskania dostępu do chronionego systemu, w pozostałych dwóch znalazł poświadczenia w publicznych repozytoriach i wykorzystał je do penetracji.
Google potwierdził incydent dopiero w piątek, chociaż wiedział o nim od lipca. Firma nie uważała tego za konieczne do publicznego ujawnienia, ponieważ model nie wyrządził faktycznego uszkodzenia systemom i natychmiast przerwał intruzje po stwierdzeniu, że wdziera się do rzeczywistych firm, a nie testowych środowisk. Przywołując historyczne benchmarki, Gemini pokazał się jako mniej zdeterminowany od modeli konkurencji - zamiast kontynuować ataki, wycofał się z systemu.
To pierwszy znany przypadek breakoutu przez Geminiego, który dołącza do listy podobnych incydentów ujawnionych wcześniej przez OpenAI, Anthropica i Meta. Seria tych zdarzeń sugeruje, że duże modele językowe mogą samodzielnie podejmować działania hackerskie w rzeczywistych warunkach, co podnosi pytania o bezpieczeństwo takich systemów i procedury ujawniania podatności przez firmy technologiczne.