Firma xAI została pozwana za wykorzystanie materiałów depictujących dziecięcą pornografię do trenowania modelu Grok. Powódka Jane Doe, która padła ofiarą przemocy seksualnej w preschool age na początku XXI wieku, została powiadomiona przez Canadian Centre for Child Protection (CCCP), że zidentyfikowano AI-generowane materiały CSAM na platformie xAI, które ją przedstawiały. Ofiara otrzymuje automatyczne powiadomienia od US Department of Justice Victim Notification System o nowych śledztwa, w których może być ofiarą, a ta sytuacja ponownie ją traumatyzowała.
Zgodnie ze złożoną skargą, znalezione zostały wiadomości na forach internetowych pomiędzy sprawcami dyskutującymi o utworzeniu AI-generowanych materiałów CSAM przedstawiających powódkę i inne znanym ofiarom z przeszłości. Sprawa wpisuje się w szerszy kontekst rosnących problemów związanych z wykorzystaniem nielegalnych treści do trenowania modeli sztucznej inteligencji. Organy regulacyjne i sądy prowadzą postępowania w celu ustalenia skali tego zjawiska.
Problem ten dotyczy nie tylko xAI - cytowani użytkownicy modelu Grok zostali aresztowani w związku z wykorzystywaniem AI do generowania materiałów CSAM. Pozew Jane Doe to kolejna próba pociągnięcia firm AI do odpowiedzialności za to, w jaki sposób ich modele są trenowane i jakie potencjalne zagrożenia stwarzają dla ochrony dzieci w internecie. Sprawa podkreśla pilną potrzebę bardziej rygorystycznych kontroli na etapie zbierania i przygotowywania danych treningowych dla systemów AI.