Zespół badawczy opracował Modality Discrepancy Transformer - architekturę głęboką specjalizującą się w wykrywaniu ambiwalgencji i wahania poprzez analizę konfliktu między kanałami komunikacji: mimiczną, wokalną i lingwistyczną. Problem pojawia się w kontekście analizy filmów klinicznych, gdzie standardowe metody fuzji modalności zazwyczaj tłumią sygnały rozbieżne, a właśnie te rozbieżności niosą najważniejszą informację diagnostyczną.
MDT rozszerza wcześniejszy projekt z sześciu tokenów do reprezentacji dziewięciotokenowej, zawierającej embeddingi trzech modalności, cechy bezwzględnej różnicy oraz cechy rozbieżności obliczane za pomocą iloczynu Hadamarda. Architektura wykorzystuje klasyczną samoattencję Transformera wzbogaconą o modulację warunkowaną tekstem (FiLM) i fine-tuning z LoRA. Gałąź fuzji poprzedzającej późny etap pozwala na splot wyjścia zawierającego sam tekst z pełnym multimodalnym wyjściem w fazie inferencji.
Na zbiorze danych BAH z trzeciego konkursu ABAW Challenge model osiągnął 0.7408 Macro F1 na etykietowanym zbiorze testowym i 0.7368 na prywatnej liście rankingowej - przebijając dotychczasowy najlepszy opublikowany baseline o ponad 10 punktów. Szczególnie imponujące jest, że całe trenowanie zajęło mniej niż 20 minut na pojedynczej karcie graficznej, co czyni model praktycznie zastosowanym do rzeczywistych scenariuszy klinicznych.