Naukowcy zbadali przejrzystość modelu DAPF stosowanego do wykrywania demencji z analizy mowy. Rama DAPF przetwarza zadanie diagnozy jako przewidywanie zamaskowanych tokenów, a modelowi udało się osiągnąć imponujące wyniki - dokładność 0,83 i wartość F1 również 0,83, przekraczając wydajność innych silnych linii bazowych.
Jednak szczegółowa analiza interpretowności ujawniła istotne braki w wiarygodności wyjaśnień. Badacze zastosowali różne techniki sondowania i analizy, aby zrozumieć, na czym model się skupia. Okazało się, że atrybuty DAPF - wskazania na to, które słowa są ważne dla prognozy - głównie odzwierciedlały słownictwo językowe zadania, markery dyskursu i artefakty transkrypcji, zamiast rzeczywistych cech diagnostycznych demencji. Testy perturbacyjne pokazały słabe lub wręcz negatywne efekty, gdy zmieniano te słowa.
Wynika stąd wniosek, że interfejs maskowania tokenu w modelu DAPF skutecznie koduje informacje diagnostyczne w swoich reprezentacjach wewnętrznych, ale proces ten nie prowadzi do wiarygodnych wyjaśnień na poziomie poszczególnych tokenów. To stanowi wyzwanie dla klinicznego wdrożenia takich systemów - modele mogą być dokładne, ale ich przejrzystość pozostaje iluzoryczna.