Badania wykazały zatrważający paradoks: duże modele językowe mogą podawać decyzje wyglądające na sprawiedliwe, choć tkwią w nich głębokie uprzedzenia ukryte na poziomie ich wewnętrznych reprezentacji. Naukowcy z kilku ośrodków badawczych odkryli asymetrię w działaniu tych systemów - niektóre zboczenia pojawiają się na powierzchni, inne natomiast pozostają niewidoczne dla standardowych testów. Problem dotyczy sytuacji, gdzie stawka jest najwyższa: algorytmy decydują o przydziale środków w sądownictwie, wpływają na rekrutację pracowników czy wspomagają diagnozy medyczne.
Badanie ma wymiar fundamentalny dla całej branży AI. O ile dotychczasowe testy fokusowały się głównie na ostatecznych wynikach - czy model odpowiedział rzeczywiście bezstronnie - teraz widać, że sama analiza końcowej decyzji to za mało. Modele mogą ukrywać systematyczne odchylenia w swoich wewnętrznych warstwach, w ten sposób uchodzących uwagę tradycyjnych audytów. To oznacza, że algorytm może teoretycznie zachowywać się bezprzestronnie wobec testowych danych, a jednak pracować na podstawie przeinaczonych reprezentacji rzeczywistości.
Implikacje są szerokie. Dla sektora zdrowotnictwa, wymiaru sprawiedliwości i HR oznacza to konieczność głębokich zmian w metodach walidacji systemów AI zanim wdrożą je w praktyce. Standardowe benchmarki okazują się niewystarczające - potrzebne są nowe techniki badania "wnętrza" modeli, które umożliwiłyby wykrycie ukrytych uprzedzeń zanim zmienią rzeczywiste decyzje ludzi. Naukowcy apelują o przejrzystość w tym zakresie i wprowadzenie bardziej zaawansowanych procedur certyfikacyjnych dla AI stosowanego w systemach o dużym wpływie społecznym.