Naukowcy z arXiv zaprezentowali nowy model do rozpoznawania ambivalencji i wahania w zachowaniu ludzi poprzez wspólną analizę tekstu i audio. System koduje pełne transkrypty wideo za pomocą wielojęzycznego BERT-a i wav2vec 2.0, a następnie projektuje obie modalności w wspólną przestrzeń reprezentacji. Kluczową innowacją są dwa skumulowane dwukierunkowe bloki cross-attention, które pozwalają tokenom lingwistycznym analizować ramki akustyczne i vice versa bez konieczności jawnego wyrównania czasowego.
Model osiągnął na zbiorze testowym BAH dokładność 72,19 procent, precyzję 75,00 procent, czułość 81,13 procent i F1-score 77,95 procent dla A/H. Te wyniki pokazują, że wspólne modelowanie informacji tekstowej i akustycznej jest efektywne do automatycznego wykrywania ambivalencji i wahania w wypowiedziach. Badanie otwiera nowe możliwości dla aplikacji w analizie emocji, ocenie wiarygodności wypowiedzi czy wsparciu w rozmowach terapeutycznych, gdzie subtelne sygnały behawioralne są kluczowe.
Zasadnicze wyzwanie polega na tym, że ambivalencja i wahanie to złożone stany behawioralne wyrażane zarówno poprzez zawartość słów, jak i sposób ich wymawiania. Tradycyjne podejścia analizują tekst i audio niezależnie, co powoduje utratę istotnych interakcji między modalności. Propozycja autorów demonstruje, że mechanizm attention umożliwia modelowi naturalną integrację obu źródeł informacji.