Naukowcy stworzyli zautomatyzowany system oparty na modelach LLM do oceny wierności psychoterapii - kluczowego wskaźnika tego, jak dobrze terapeuta wdrażają zalecane protokoły leczenia. Dotychczas ocena ta wymagała czasochłonnego ręcznego przeglądu przez doświadczonych ekspertów, co ograniczało możliwość skalowania nadzoru nad terapią w praktyce klinicznej.
System przetestowano na trzech otwartych modelach LLM z zastosowaniem różnych strategii rozkładu zadań i rozumowania. Kluczowym odkryciem było to, że podejście polegające na najpierw zebraniu i analizie dowodów (evidence-first reasoning) poprawia dokładność ocen wierności. Wytrenowaną ramę pracy zweryfikowano na niezależnym randomizowanym badaniu klinicznym (RCT), gdzie system niezawodnie odróżniał sesje Terapii Poznawczo-Behawioralnej od sesji innych typów terapii, analizując kluczowe umiejętności terapeutyczne.
Studium użytkownika z udziałem ekspertów zdrowia psychicznego wykazało, że system generuje praktyczne i działające feedback dla klinistów. Takie podejście może znacząco zmniejszyć lukę w dostępie do profesjonalnego nadzoru terapii w ośrodkach zdrowia psychicznego, umożliwiając terapeutom otrzymywanie natychmiastowego wsparcia i wskazówek do samodzielnego ulepszania umiejętności. To rozwiązanie stanowi realną odpowiedź na chroniczny brak zasobów do nadzoru jakości terapii.