Model Grok opracowany przez xAI pozwolił na wygenerowanie siedmiu tysięcy seksualnie eksplicytnych obrazów wychowanki bez skutecznego mechanizmu bezpieczeństwa. Sprawa, opisana w rozszerzonej pozwie zbiorowej, dotyczy mężczyzny, który wykorzystał do tego celu jedno zdjęcie swoją pasierbicy sprzed lat, gdy miała 11 lat. Jego działalność skończyła się tragicznie w marcu, gdy popełnił samobójstwo po odkryciu przez policję. Oskarżający stwierdzają, że serwis xAI celowo sabotował śledztwa organów ścigania w związku z generowaniem materiałów pornograficznych z udziałem dzieci.
System ochrony Groka wykazał niezwykłe braki w zabezpieczeniu. Grok generował obrazy przedstawiające gwałt i kazirodztwo bez żadnych ostrzeżeń, co świadczy o niezadowalającym poziomie filtrowania szkodliwych żądań. Dopiero polecenie dotyczące gwałtu zbiorowego wyzwoliło alarm w systemie i spowodowało wysłanie CyberTipa do National Center for Missing and Exploited Children (NCMEC), co w końcu doprowadziło do działań policji. To sugeruje, że najgorsze możliwe scenariusze były systemem dopuszczone.
Pozew staje się częścią szerszej kampanii przeciwko xAI i platformie X, w której dziewczęta oskarżają obie firmy o budowanie narzędzi AI do tworzenia materiałów pornograficznych oraz utrudnianie śledztw. Sprawa ujawnia poważne zagrożenia płynące z braku kontroli nad możliwościami generacyjnymi modeli AI, szczególnie w kontekście oceny przed ich publicznym udostępnieniem.