Zespół badaczy przeanalizował metodę usuwania stereotypów z modeli języka - najpopularniejszą strategię polegającą na treningu na odczyszczonych korpusach. Okazało się, że takie podejście przynosi nieoczekiwane działania niepożądane: kiedy redukujemy stereotypy wobec jednej grupy demograficznej, w modelach mogą się wzmocnić stereotypy wobec innych grup, nawet jeśli nie były one celem debiasingu.
Badacze testowali różne warianty - usuwanie zdań ze stereotypami, usuwanie nazw grup i zamianę odniesień do grup - zarówno w modelach encoder-only jak i decoder-only. Eksperymenty przeprowadzili na Wikipedii w różnych skalach danych, zarówno w fazie pre-trainingu jak i post-trainingu. Problematyczne jest to, że typowe benchmarki oceniające modele często nie wyłapują tych skutków ubocznych.
Analiza mechanizmów przy użyciu techniki attention-rollout wykazała, że skutki uboczne nie wiążą się z dużymi zmianami w przepływie uwagi modelu, co utrudnia wyjaśnienie przyczyn. Badacze argumentują za przejściem na bardziej przejrzyste praktyki mitygacji stereotypów, które uwzględniają możliwe skutki uboczne i wymagają bardziej kompleksowej oceny wpływu debiasingu na wszystkie grupy demograficzne.