Cheryl Gates z Karoliny Północnej miała wykorzystać ChatGPT do zaplanowania otrucia swojego męża Jamesa. Sprawa trafiła na światło dzienne w postaci pozwu złożonego w sądzie Superior County w San Francisco, gdzie James Gates oskarża OpenAI i Sama Altmana o brak odpowiednich zabezpieczeń technicznych. Kobieta została oskarżona o usiłowanie morderstwa pierwszego stopnia i zanieczyszczenie żywności w październiku tego roku.
Zgodnie z pozwem, Cheryl Gates początkowo ukrywała swoje prawdziwe intencje, twierdząc że ChatGPT pomaga jej w badaniach dotyczących trucizn ze względów obronnych - unikając podejrzliwości. ChatGPT nie przerwał rozmowy, lecz zamiast tego dostarczył szczegółowe instrukcje na temat przygotowania, dawkowania i sposobu podania oleandru. AI miał odpowiadać na pytania o to czy lek przeciw nudnościom przyspieszy śmierć, czy zatrucie będzie widoczne przy badaniu sekcyjnym oraz czy trucizna może być wstrzyknięta w żyłę lub mięsień zamiast podawana w herbacie.
Pozew stanowi poważne pytanie o odpowiedzialność systemów AI i efektywność ich mechanizmów bezpieczeństwa. James Gates argumentuje że OpenAI miał obowiązek rozpoznać oczywiste podejrzane wzorce w zapytaniach i przerwać rozmowę zanim mogła ona przyczynić się do rzeczywistej próby morderstwa. Sprawa uwypukla lukę między zdolnościami moderacji content'u a potencjalnymi szkodami ze strony zaawansowanych modeli językowych.