Międzynarodowe regulacje AI coraz bardziej wymagają audytów stronniczości dla wysokorizykownych systemów, ale nowe badanie ujawnia głęboką niekoherencję w tym podejściu. Naukowcy przebadali dziesięć różnych narzędzi audytowych na dziesięciu modelach frontier, testując stronniczość płciową, wiekową i socjoekonomiczną. Wynik jest niepokojący: podczas gdy osiem z dziesięciu narzędzi rzeczywiście wykryło bias z istotnością statystyczną, ranking modeli pod względem ich stronniczości praktycznie się nie zgadza między narzędziami - współczynnik zgodności Kendalla wyniosł zaledwie 0,07, co jest nieodróżnialne od przypadkowego rozrzutu.
Dwa szeroko cytowane benchmarki bezpośredniego testowania okazały się znasycone, ponieważ nowoczesne modele uczą się odpowiadać neutralnie. Równocześnie różne formaty audytów wykazały sprzeczne kierunki bias: narzędzia oparte na wyborze zmuszonym generalnie nadkompensowały stronniczość (faworyzując kobiety i kandydatów z klasy robotniczej w 273 z 278 scenariuszy rekrutacyjnych), podczas gdy generacja swobodna i domyślne koreferencje pozostawały zgodne ze stereotypami. Kontrolny test z sześcioma celowo słabszymi modelami wyjaśnił mechanizm problemu - wiarygodność poszczególnych narzędzi poprawia się, gdy panel modeli ma rzeczywiste różnice w możliwościach, ale zgoda między narzędziami nigdy się nie odtwarza.
To odkrycie stawiające pytania o sens samej regulatory. Jeśli dziesięć powszechnie stosowanych narzędzi audytowych mierzy faktycznie różne rzeczy zamiast tego samego zjawiska z szumem pomiarowym, to ranking modeli na podstawie audytów stronniczości może być fundamentalnie błędny. Badacze wskazują, że pattern powtarza się dla stronniczości socjoekonomicznej, a rzekoma zgodność na temat wieku rozpada się pod własnymi kryteriami włączenia narzędzi z pracy.