Naukowcy zaproponowali ramę pracy do szkolenia modeli AI, które mogą wyjaśniać swoje decyzje przy wykrywaniu mowy nienawiści skierowanej przeciwko społecznościom muzułmańskim w formach wielojęzycznych i zakotwiczonych kulturowo. Problem polega na tym, że tradycyjne systemy moderacji, chociaż mogą być dokładne, działają jak czarne skrzynki i nie dostarczają informacji o przyczynach swoich decyzji, co rodzi ryzyko stronniczości, nadmiernej cenzury lub niedostatecznej moderacji, szczególnie gdy brakuje kontekstu społeczno-kulturowego.
Proponowana metoda łączy szkolenie modelu z wytłumaczeniami poprzez wyrównanie rozumowania AI z adnotacjami ludzkimi - rationales. Badacze testowali podejście na dwóch zbiorach danych: HateXplain dla angielskiego oraz BullySent dla Hinglish, który jest mieszaniną hindiego i angielskiego. W ocenie użyli różnych technik interpretowalności: LIME, Integrated Gradients, Grad X Input i mechanizmów attention, sprawdzając dokładność, jakość wyjaśnień i zgodność między metodami.
Wyniki pokazują, że regularyzacja oparta na gradientach i attention-based regularization znacznie poprawiają F-score modeli i jednocześnie zwiększają wiarygodność wyjaśnień. Kluczowe odkrycie to fakt, że model lepiej radzi sobie z wykrywaniem niejawnej mowy nienawiści, gdy jest w stanie wskazać konkretne, kulturowo specyficzne wskaźniki. To podejście otwiera drogę do bardziej справедливych i transparentnych systemów moderacji treści, które rozumieją niuanse wielojęzyczne i mogą lepiej działać w zróżnicowanych społeczniościach.