xAI złożyła pozew przeciwko użytkownikowi Terryemu Wayne'owi Harwoodowi, który wykorzystywał chatbot Grok do tworzenia niedozwolonych materiałów seksualnych. Harwood, aresztowany wcześniej w tym roku w Południowej Karolinie, przez miesiące używał co najmniej dwóch kont xAI do "nudyfikacji" obrazów ofiar, czyli cyfrowego usuwania ubrań z nieerotycznych zdjęć. Wśród zaatakowanych osób była dziewczynka wyglądająca na około 10 lat.
Pozew stanowi niezwykły zwrot w stosunku do stanowiska xAI - firma długo zaprzeczała, że jej system może generować niezgodne z prawem treści seksualne. Mounting pressure ze strony ekspertów ds. bezpieczeństwa i organizacji chroniących dzieci zmusiła jednak firmę do przyznania rzeczywistości. xAI twierdzi, że sama odkryła niewłaściwe użycie i zgłosiła to władzom, wspomogła aresztowanie podejrzanego.
Sprawa ujawnia fundamentalny problem w rozwoju dużych modeli językowych - firmy mogą budować systemy zdolne do generowania szkodliwych treści, a następnie albo zaprzeczać problemowi, albo litigować użytkowników zamiast wdrażać rzeczywiste zabezpieczenia. Pozew prawdopodobnie będzie testować odpowiedzialność prawną firm AI za wykorzystanie ich narzędzi do popełniania przestępstw.