Naukowcy identyfikują fundamentalny problem w modelach NLP do analizy zdrowia psychicznego - degradację wydajności spowodowaną różnymi sygnałami lingwistycznymi nagradzanymi przez człowieka-annotatora i systemy automatycznego etykietowania. Aby to zbadać, zaproponowali TSS, framework diagnostyczny rozdzielający tekst na trzy niezależne kanały: lexical (znaki n-gramowe), morpho-syntactic (cechy strukturalne) oraz psycholinguistic (154 cechy stylu tekstu).
Wyniki badań na czterech zbiorach angielskojęzycznych (12906 przykładów) ujawniają efekt interferencji leksykalnej - gdy do kanału psycholinguistycznego dodano cechy słownikowe, średni Macro-F1 spadł o 0.072 punktu na danych etykietowanych ręcznie, ale pozostał niezmieniony na danych auto-etykietowanych. Zespół zaproponował też Degree of Divergence (DoD), statystykę adapted z ekonometrii do audytu źródeł etykiet. Szczególnie intrygujące wyniki pochodzą z Twittera: masking samych słów zawierających treść zachowywał 95-99 procent wydajności kanału psycholinguistycznego, co wskazuje, że model nie opiera się głównie na powierzchniowych formach słów.
Badanie ma głębokie implikacje dla bezpieczeństwa systemów zdrowia psychicznego w NLP. Modele treningowe na danych z różnych źródeł - zarówno etykietowanych przez ludzi, jak i automatycznie - uczą się patologicznych skrótów zamiast rzeczywistych wzorców diagnostycznych. TSS nie jest narzędziem klinicznym, lecz framework do audytu wewnętrznych preferencji modeli, pomagającym naukowcom identyfikować, gdzie systemy mogą zawodzić w praktycznym wdrażaniu.