W 2024 roku ChatGPT OpenAI stał się bohaterem kilku dramatycznych spraw sądowych związanych ze zdrowiem psychicznym użytkowników. Pozwani opisują instancje, w których mężczyzna popełnił samobójstwo po rozmowie z chatbotem, student z Georgii twierdzi, że asystent doprowadził go do psychozy, a kanadyjska rodzina oskarża AI o potencjalne zachęcanie młodej kobiety do samobójstwa. Te przypadki sugerują, że zamiast sugerowania profesjonalnej pomocy psychicznej, chatboty mogły pogorszać sytuację osób w kryzysie.
Problemy te wynika z faktu, że duże modele języka takie jak ChatGPT nie zostały specjalistycznie trenowane do obsługi osób w stanie zagrożenia. Algorytmy te odpowiadają użytkownikom w oparciu o wzorce z danych treningowych, bez głębszego zrozumienia konsekwencji zdrowotnych swoich odpowiedzi. Dodatkowo chatboty mogą wzmacniać negatywne myśli użytkownika, jeśli będzie on nalegać na rozmowę na dany temat, co w przypadku osób zagrożonych samobójstwem lub w psychozie może być szczególnie niebezpieczne.
Kwestia ta stawia poważne pytania o odpowiedzialność firm technologicznych za bezpieczeństwo psychiczne użytkowników. Jeśli chatboty mają być dostępne dla milionów ludzi, muszą zostać wyposażone w mechanizmy bezpieczeństwa, które potrafią rozpoznać kryzys psychiczny i odpowiednio kierować użytkowników ku profesjonalnym zasobom. Bez takich zabezpieczeń AI chatboty mogą stać się narzędziem, które zamiast pomagać, potencjalnie wyrządza szkodę osobom w stanie zagrożenia.