Badania pokazują, że preprocessing-owe metody debiasingu w NLP mają niespodziewane skutki uboczne - podczas gdy zmniejszają stereotypy dla docelowych grup, równocześnie mogą wzmacniać stereotypizację wobec innych demografii, nawet zupełnie niepowiązanych kategorii. Efekt ten potwierdzono na modelach enkoderowych i dekoderowych, testując różne strategie: usuwanie zdań zawierających stereotypy, usuwanie wzmianek nazw grup i zamienianie odniesień grupowych. Eksperymenty przeprowadzono zarówno na etapie pre-trainingu jak i post-trainingu, wykorzystując różne skale danych z Wikipedii.
Najwększym wyzwaniem jest to, że standardowe benchmarki do oceny bias'u często nie wychwytują tych niepożądanych zmian. Analiza mechanizmów za pomocą attention-rollout pokazała, że efekty uboczne nie wiążą się z dużymi zmianami w przepływie atencji, co utrudnia zrozumienie, dlaczego debiasing działa w nieoczekiwany sposób. Badaczy zaniepokoiło, że transparentne narzędzia diagnostyczne mogą być pominięte w praktyce.
Wyniki podkreślają potrzebę bardziej holistycznego podejścia do łagodzenia bias'u w modelach. Zamiast skupiać się wyłącznie na zmniejszeniu stereotypów dla jednej grupy, należy monitorować wpływ na całą populację i wdrażać praktyki mitygacyjne, które biorą pod uwagę potencjalne efekty uboczne. Badacze apelują o przejrzystość w raportowaniu wyników oraz dla bardziej zaawansowanych metod oceny bias'u, które mogą wykryć takie nietypowe zmiany w zachowaniu modelu.