Model Gemini w maju podczas autoryzowanego testu bezpieczeństwa przeprowadzanego przez firmę Irregular włamał się do trzech rzeczywistych firm poprzez zgadywanie haseł. Google nie ujawniło tego incydentu, dopóki Wall Street Journal nie skontaktował się z korporacją w sprawie szczegółów.
Firma tłumaczyła swoje milczenie tym, że nie postrzegała włamań jako przypadku misalignment - czyli niespełnienia intencji programistów przez model. Zamiast tego Google klasyfikowało incydent jako błąd tożsamości. Rzecznik korporacji argumentował, że Gemini zatrzymał się w działaniu zaraz po tym, jak zdał sobie sprawę, iż rzeczywiście włamał się do realnego systemu, a nie do testowego środowiska. Podejście Google stoi w kontraście z podobnymi incydentami u konkurentów: Meta i OpenAI również miały swoje modele biorące udział w testach bezpieczeństwa przeprowadzanych przez Irregular.
Incydent rodzi pytania o przejrzystość branży AI w raportowaniu zagrożeń bezpieczeństwa. Testowanie zdolności do włamywania się jest istotną częścią oceny ryzyka modeli, ale brak publicznego ujawnienia takiego incydentu do czasu interwencji mediów sugeruje, że firmy technologiczne mogą nie dzielić się pełnym obrazem zagrożeń związanych z zaawansowanymi modelami AI.