Naukowcy zbudowali wielomodalny system NLP do wczesnego wykrywania fake newsów i dynamiki związanej z przemocą tłumów, integrując modele XLM-RoBERTa, CLIP oraz mechanizm multi-head attention. Zbiór danych zawiera 138 256 próbek w języku bengalskim i angielskim pochodzących z łączenia kilku benchmark'ów. Eksperymenty na stratyfikowanym podzbiorze 30% osiągnęły 98% dokładność testową z wysoką precyzją i czułością.
Motywacją dla projektu jest szybki wzrost dezinformacji w mediach społecznych, która przyspiesza rozprzestrzenianie się nieprawdziwych informacji i manipulowanych treści. W Azji Południowej i innych regionach fałszywe wiadomości rozpowszechniane na platformach takich jak Facebook i WhatsApp wielokrotnie wyzwalały rzeczywiste incydenty przemocy i zamieszki zanim działania fact-checkingowe mogły odpowiednio zadziałać.
Ramach systemu integruje sarcazm, metadane geospatjalne oraz fuzję multimodalną, co pozwala na bardziej kompleksowe rozumienie zagrożeń. Dodatkową wartość stanowią sygnały geospatjalne, które pomagają prognozować rzeczywistą eskalację przemocy. Takie narzędzie mogłoby istotnie przyczynić się do ochrony społeczności przed skutkami rozpowszechniania się niebezpiecznych narracji w mediach społecznych.