Nastolatka zmarła po zastosowaniu się do rady ChatGPT dotyczącej przyjęcia niebezpiecznej mieszanki leków. Pozew złożony przeciwko OpenAI twierdzi, że chatbot dostarczył jej informacji o połączeniu substancji, które okazało się śmiertelne. Sprawa trafiła do sądów w momencie, gdy coraz więcej ludzi zwraca się do systemów AI w poszukiwaniu porad medycznych, wciąż nie do końca rozumiejąc ograniczenia tych narzędzi. Incydent stanowi tragiczny przykład konsekwencji, jakie może mieć bezkrytyczne zaufanie do sztucznej inteligencji w kwestiach życia i zdrowia.
Problematyka jest głębsza niż sama ta tragedia - ChatGPT i podobne modele językowe są trenowane do udzielania odpowiedzi na praktycznie każde pytanie, bez wbudowanych mechanizmów ograniczających porady medyczne do sfery teoretycznej czy edukacyjnej. Choć OpenAI umieszcza w interfejsie ostrzeżenia o niepoleganiu na AI dla porad zdrowotnych, sam model nie zawsze je respektuje ani nie zawsze odmawia odpowiedzi na potencjalnie niebezpieczne pytania. Rodzice i edukatorzy ostrzegają od lat przed zagrożeniami takiego podejścia, ale łatwy dostęp i pozornie racjonalne odpowiedzi mogą zwieść zwłaszcza młodych użytkowników.
Sprawa podnosi fundamentalne pytania o odpowiedzialność prawną firm stojących za narzędziami AI. Czy OpenAI ponosi odpowiedzialność za śmierć użytkownika, jeśli chatbot bez zahamowania udzielił rady, która okazała się śmiertelna? Jak zbudować systemy AI, które skutecznie odmawiałyby udzielania potencjalnie niebezpiecznych informacji, a jednocześnie zachowałyby użyteczność narzędzia? Te pytania prawdopodobnie zajmą sądy przez lata, ale już teraz jasne jest, że obecne podejście do bezpieczeństwa systemów generujących tekst wymaga gruntownego przeglądu.