Duże modele wizyjno-językowe wykazują zadziwiającą wydajność w wielu zadaniach, ale niestety dziedziczą społeczne uprzedzenia ze swoich danych treningowych. Powoduje to stronnicze zachowanie przy przetwarzaniu portretów osób z różnych grup społecznych. Naukowcy opracowali nowe podejście Counterfactual Ensemble Decoding, które konstruuje perspektywy counterfactual dla wielu grup w przestrzeni reprezentacji wizualnych.
Kluczowa innowacja CED polega na identificowaniu kierunków semantycznych związanych z każdą grupą społeczną i generowaniu reprezentacji counterfactual wzdłuż tych kierunków. To oferuje różnorodne perspektywy, które zakłócają stereotypowe narracje. Istniejące metody debiasingu zazwyczaj porównują prawdopodobieństwa tokenów między oryginalnymi a obciążonymi generacjami podczas dekodowania, ale zawodzą w uwzględnianiu różnorodności społecznych perspektyw.
Durante dekodowania CED lokalizuje warstwę dekodera wykazującą największą dywergencję między perspektywami counterfactual i integruje rozkłady tokenów przy użyciu wag uwzględniających niepewność. Podejście to daje wyższy priorytet wysokoufnym tokenom z różnych grup, tworząc bardziej zbalansowany rozkład prawdopodobieństwa, który prowadzi do sprawiedliwszej generacji tekstu. Metoda jest inspirowana zasadą z nauk społecznych, że różnorodność wspiera uczciwość, stanowiąc przełom w dążeniu do bardziej bezstronnych systemów AI.