Naukowcy udostępnili AHA-Memes - pierwszy na skalę benchmark do badania mowy nienawiści w arabskich memach z dokładnymi, wieloetykietowymi adnotacjami. Dataset obejmuje 5 tys. ręcznie otagowanych memów oraz około 66 tys. memów z etykietami wygenerowanymi automatycznie, które mogą wspierać przyszłe badania.
Memy zawierające mowę nienawiści są rosnącym problemem szkód online, gdzie wroga intencja wynika z połączenia obrazów, tekstu, odwołań kulturowych i niejawnych celów ataków. Dotychczas badania nad ich wykrywaniem zaawansowały głównie dla języków o dużych zasobach, podczas gdy arabski pozostawał niezbadany. Istniejące zasoby arabskie fokusowały się na propagandzie lub ogólnych etykietach szkodliwej zawartości, bez precyzyjnych kategoryzacji typów ataków.
Team przetestował różne podejścia: modele pracujące tylko na tekście, tylko na obrazach, modele wielomodalne z fuzją późną, a także najnowsze Vision-Language Models w ustawieniach zero-shot i fine-tuning. Wyniki wskazują na istotne wyzwania związane z pełnym zrozumieniem arabskich memów zawierających mowę nienawiści, ze względu na ich zakorzenienie w lokalnym kontekście kulturowym. Badacze udostępnili dataset, wytyczne adnotacji i skrypty ewaluacyjne dla społeczności badawczej.