Naukowcy z arXiv opracowali nową metodę wykorzystania modeli języka do wsparcia zdrowia psychicznego poprzez wprowadzenie systemu oceniającego i wieloagentowego. TheraJudge, otwartoźródłowy ewaluator terapeutyczny, został wytrenowany na danych anotowanych przez ludzi za pomocą optymalizacji preferencyjnej i ocenia odpowiedzi w siedmiu wymiarach psychologicznych: Bezpieczeństwo, Znaczenie, Empatia i inne. Uzyskuje on wysoki poziom zgody z ocenami klinicznych specjalistów, osiągając współczynniki korelacji wewnątrz klasy ICC od 0.87 do 0.95.
Drugą część systemu stanowi TheraAgent, który operacjonalizuje oceny TheraJudge'a poprzez proces koordynowanego ulepszania. System wprowadza trzy wyspecjalizowane role: Krytyka, który identyfikuje problemy; Coacha, który proponuje strategie; i Terapeutę, który integruje te wkłady w ulepszoną odpowiedź. To wielowarstwowe podejście pozwala na celowe poprawianie odpowiedzi terapeutycznych na podstawie rzeczywistych sygnałów ewaluacyjnych.
Wyniki są obiecujące: TheraAgent osiąga polepszenie o +0.43 punktu w ocenianej przez ludzi jakości terapeutycznej na skali pięciopunktowej przy 96 procentowej niezawodności inter-rater oceniających klinicystów. Szczególnie ważne jest, że odpowiedzi niskiej jakości (oceniane na trzy punkty lub poniżej) poprawiają się średnio o +2.45 punktu, ze wskaźnikiem pomyślnej naprawy 94 procent. To pokazuje, że system skutecznie identyfikuje i koryguje potencjalnie niebezpieczne wyniki, czyniąc go praktycznym narzędziem dla wsparcia zdrowia psychicznego opartego na AI.