ConsMSA: Uczenie się spójności rozkładów semantycznych w analizie sentymentu multimodalnego

Analiza sentymentu z wykorzystaniem danych multimodalnych to trudne zadanie, bo tekst, wideo i audio często zawierają zbędne informacje lub wzajemnie się wykluczają. ConsMSA rozwiązuje ten problem, projekując cechy tokenów ze wszystkich modalności do wspólnej przestrzeni sentymentu i mierząc spójność rozkładów zarówno wewnątrz każdej modalności, jak i między nimi.

Metoda wykorzystuje obliczony wynik spójności (I2CS) w trzech praktycznych celach: jako regularyzator podczas trenowania sieci, do przyznawania wagTokenom na podstawie ich semantycznej wartości, oraz do eliminacji tokenów zawierających conflicting lub redundantne informacje. Takie podejście pozwala modelowi skupić się na istotnych fragmentach danych, zamiast przetwarzać wszystko bezselektywnie.

Eksperymentalne wyniki na trzech znanych zbiorach CMU-MOSI, CMU-MOSEI i CH-SIMS pokazują, że ConsMSA nie tylko bije poprzednie metody pod względem dokładności, ale też zdumiewająco dobrze radzi sobie przy drastycznym zmniejszeniu liczby przetwarzanych tokenów. Nawet kiedy model pracuje zaledwie z 10 procentami oryginalnych danych, utrzymuje porównywalną do pełnego wariantu dokładność. To sugeruje, że semantyczna spójność może być fundamentem dla bardziej efektywnych i skalowalnych systemów analizy sentymentu.