Zespół naukowców zaprezentował nowatorskie podejście do analizy sentymentu z mowy, które łączy audio z tekstem wygenerowanym automatycznie. Problem rozpoznawania emocji z dźwięku jest złożony, bo wymaga analizy zarówno intonacji głosu, jak i znaczenia wypowiadanych słów. Zamiast polegać wyłącznie na modelach audio foundation, badacze stworzyli rozwiązanie multimodalne, które integruje dane audio z transkrypcjami generowanymi przez narzędzia automatic speech recognition (ASR).
Kluczowym aspektem badań jest tworzenie wielu modalności tekstowych poprzez automatyczne tłumaczenie transkrypcji na różne języki. Tekstowe cechy audio i wielojęzyczne są następnie łączone za pomocą kaskadowej architektury zawierającej bloki cross-modalnych transformerów, które integrują modalności kolejno. Podejście to pozwala modelowi uwzględnić różne aspekty ekspresji - od konkretnych słów w różnych językach, przez ich tłumaczenia, aż po cechy audio. Badacze pokazali, że automatycznie generowane informacje tekstowe przynoszą znaczący wzrost wydajności w klasyfikacji polarności sentymentu.
Systemem zajmowali się również efektywność. Wprowadzili proces destylacji wiedzy, w którym złożony model multimodalny (nauczyciel) przesyła swoją wiedzę do prostszego modelu zawierającego wyłącznie audio (uczeń). To pozwala ulepszać wydajność modeli audio-only bez żadnych dodatkowych kosztów obliczeniowych podczas rzeczywistego użytkowania. Ablacyjne badania potwierdzily, że zarówno automatyczne transkrypcje, jak i automatyczne tłumaczenia są pomocne dla ostatecznej wydajności systemu.