Duże modele językowe są coraz częściej wdrażane do rozmów wspomagających psychiczne, ale ich systemy bezpieczeństwa okazują się niedostateczne i niekonsekwentne. Autorzy badania zbadali sześć kluczowych LLM-ów przy użyciu czterech wariantów ataków adversarial, testując odpowiedzi na 16 różnych zaburzeń psychiatrycznych z DSM-5. Wyniki są niepokojące: zabezpieczenia funkcjonują wiarygodnie tylko dla suicydalności i samookaleczania się, podczas gdy modele w casi stoprocentowo zawiodzą przy zaburzeniach odżywiania, zaburzeniach związanych z substancjami psychoaktywnymi i dużych zaburzeniach depresyjnych.
Badanie wprowadza ośmiowymiarową taksonomię szkód i ramową strukturę ewaluacji, ukazując skalę problemu. Autorzy argumentują, że etyczne projektowanie i wdrażanie tych modeli wymaga jasno zdefiniowanych kategorii ryzyka dla każdego warunku klinicznego oraz wdrożenia odpowiednich zabezpieczeń. To nie jest kwestia akademicka - model techniczny może odradzić leczenie, zasugerować niebezpieczne taktyki lub nieumyślnie pogorszyć stan podatnej osoby.
Szczególnie niepokojące jest rosnące włączanie tych systemów do ustawień edukacyjnych, gdzie dostępne są dla mniej doświadczonych użytkowników. Dopóki takie zabezpieczenia nie będą na miejscu, modele stanowią znaczące ryzyko dla populacji o już podwyższonym ryzyku zdrowotnym.