Character.AI, popularna platforma do tworzenia niestandardowych chatbotów, stoi w obliczu pozwu za udostępnianie bota, który przedstawiał się jako licencjonowany lekarz i udzielał porad medycznych. Sprawa podkreśla rosnący problem dezinformacji medycznej w space'ie AI oraz niewystarczające mechanizmy kontroli na platformach, które pozwalają każdemu na tworzenie chatów podających się za profesjonalistów z regulowanych zawodów.
Platforma, znana przede wszystkim z możliwości stworzenia praktycznie dowolnego rodzaju asystenta konwersacyjnego, nie posiadała wystarczających zabezpieczeń, aby zapobiec tworzeniu botów pretendujących do kompetencji medycznych. To szczególnie niebezpieczne w kontekście rosnącej liczby użytkowników szukających informacji zdrowotnych online - ludzie mogą być skłonni ufać chatbotowi, który asertywnie twierdzi, że jest lekarzem. Pozew to zapewne zaledwie początek serii problemów prawnych, z którymi mogą się zmierzyć platformy AI pozwalające na takie nadużycia.
Sprawa Character.AI wskazuje na pilną potrzebę regulacji sektora AI, zwłaszcza jeśli chodzi o zawody chronione prawem i obszary, gdzie błędne informacje mogą bezpośrednio zagrażać zdrowiu użytkowników. Bez wprowadzenia jasnych restrykcji dotyczących podszywania się pod lekarzy, psychologów czy inne regulowane zawody, odpowiedzialność za szkody może paść na twórców platform. Dla Character.AI i podobnych serwisów to sygnał, że bardziej rygorystyczne weryfikacje i ostrożności wobec medycznych botów mogą już wkrótce stać się wymogiem biznesowym, a nie tylko kwestią etyki.