Naukowcy ze specjalizacją w przetwarzaniu mowy zidentyfikowali przyczynę, dla której modele audio-LLM nie wykorzystują prozodii - intonacji, rytmu i emocjonalnego zabarwienia mowy - mimo że faktycznie ją przetwarzają. Badanie ujawnia, że informacja prozodyczna zazwyczaj dociera do modelu i jest dekodowalna w późnych stanach wewnętrznych, ale modele nie wyrażają tego w swoich ostatecznych odpowiedziach.
Zespół badawczy opracował metodologię z wieloetapowymi sondami diagnostycznymi, aby zlokalizować dokładne miejsca awarii. Testując cztery modele audio-LLM na zadaniach zrozumienia mowy, wykazali, że brakujące elementy odpowiedzi nie wynikają z utraty danych akustycznych na etapie przetwarzania audio, lecz z failurii w wykorzystaniu już dostępnych reprezentacji. Poprzez precyzyjne interwencje na warstwach ukrytych - edytując wybrane neurony - naukowcy wymusili na modelach wyrażanie prozodycznych informacji, co potwierdza kauzalną rolę tych reprezentacji.
Wynalezienie to ma praktyczne znaczenie dla poprawy jakości systemów przetwarzania mowy. Odkrycie, że prozodyczne sygnały mogą być wyrażone przez małą podprzestrzeń cech, wskazuje na potencjał dla stosunkowo prostych zmian architektury bez konieczności ponownego trenowania modeli na nowych danych. Wyniki sugerują, że bariera między wewnętrznym zrozumieniem a wyrażaniem znaczenia jest w dużej mierze kwestią mechaniczną w projektowaniu modeli, a nie fundamentalnym ograniczeniem zdolności do uczenia się.