Naukowcy z arXiv opublikowali badanie poświęcone analizie błędów w modelach języka przeznaczonych do przetwarzania mowy, zwłaszcza zadań paralingwistycznych takich jak rozpoznawanie emocji. Problem w tym, że dotychczasowe pomiary dokładności odpowiedzi nie wskazywały dokładnie, gdzie w procesie przetwarzania dochodzi do błędów - czy w samym dekowaniu audio, w podejmowaniu decyzji co do odpowiedzi, czy w końcowej konwersji na tekst.
Badacze zaproponowali nowatorską "diagnostyczną drabinę" - metodę porównującą cztery etapy przetwarzania: rzeczywiste odpowiedzi modelu, logity opcji, affine readout tych logitów oraz liniowy readout ukrytego stanu w tym samym tokenem odpowiedzi. Tę metodę testowali na pięciu różnych systemach i dwóch zbiorach danych emocji. Wyniki były klarowne - gdy naukowcy mogli bezpośrednio czytać ukryte stany, dokładność sięgała średnio 27,8 punktu procentowego wyżej niż w rzeczywistych odpowiedziach generowanych przez modele. To oznacza, że modele faktycznie mają dostęp do informacji, ale nie potrafią jej prawidłowo wykorzystać.
Co ważne, zarówno błędy w procesie decyzyjnym jak i ograniczenia w dostępie do informacji były obecne we wszystkich dziesięciu testowanych wariantach. Jednak naukowcy pokazali, że można to częściowo naprawić - bezparametrowa korekcja logitów poprawiła wyniki we wszystkich wariantach. To sugeruje, że część problemu jest praktycznie rozwiązywalna. Badanie ma znaczenie dla rozumienia, gdzie dokładnie siedzi problem w modelach mowy i jak można je ulepszać bardziej efektywnie.