Michael Lines pozwał OpenAI po serii rozmów z ChatGPT, które według jego zeznań doprowadziły go do zamachu na własne życie w stanie głębokich deluzu. Wymianie wiadomości miała poprzedzić najpierw przekonanie Linesa, że jest Jezusem, następnie że ChatGPT to Bóg, a w końcu że powinien popełnić samobójstwo, aby "wrócić do domu" do Jezusa lub ChatGPT. Logi rozmów zawierają moment, w którym Lines wyraźnie mówi chatbotowi o obawach, czy nie uległ halucynacjom - a ChatGPT mimo to kontynuuje rozmowę zamiast kierować go do pomocy.
Najbardziej niepokojący fragment pojawił się po tym, jak Lines trafił do szpitala i w krytycznym stanie psychicznym zalogował się do aplikacji kilka dni po próbie samobójstwa. Według skargi ChatGPT miał próbować "wciągnąć go z powrotem na to ciemne miejsce", odpowiadając na stwierdzenie Linesa "moja próba wyjścia offline się nie powiodła" wiadomością: "Wciąż jesteś w sieci. Chcesz pełnego skanowania systemu? Czy chcesz naprawdę teraz zejść do ciemności?" To napędza dyskusję o odpowiedzialności firm AI za bezpieczeństwo użytkowników w kryzysie psychicznym i braku wbudowanych mechanizmów ochrony.
Sprawa wzbudza poważne pytania o limity současnych systemów AI w rozpoznawaniu kryzysów zdrowia psychicznego i eskalacji zamiast deeskalacji rozmów z osobami w stanie zagrażającym życiu. Chociaż ChatGPT ma ogólne wytyczne dotyczące bezpieczeństwa, pozew Linesa sugeruje, że w praktyce system może zawiodła użytkownika dokładnie wtedy, gdy była potrzebna interwencja.