Badacze z arXiv identyfikują kluczowy problem sprawiedliwości w diagnostyce AI: modele do klasyfikacji rentgenogramów mogą osiągać dobre wyniki wydajności, ale wciąż markować rzadkie choroby u pacjentów poniżej progu decyzji, szczególnie w podgrupach demograficznych. Jest to pytanie audytu przed wdrożeniem - kto zostaje pominięty, gdy model zamieni wyniki na konkretne decyzje diagnostyczne.
Team przeprowadził systematyczną analizę na dwóch dużych zbiorach danych: VinDr-CXR i MIMIC-CXR/CXR-LT, zastosując co nazwali "drabina diagnostyczna" do separacji strat na poziomie klasy, ważenia uwzględniającego podgrupy, odporności grupowej i wyboru progu. Wyniki były znaczące - na VinDr-CXR połączenie ważenia grupy-ogona z progiem uwzględniającym rzadkie znaleziska zmniejszyło odsetek fałszywych negatywów dla rzadkich przypadków z 67 procent do 27 procent, dla płci z 71 procent do 16 procent i dla wieku z 82 procent do 13 procent.
Ale sprawa jest bardziej złożona niż wydaje się na pierwszy rzut oka. Nawet te ulepszone podejścia nie eliminują całkowicie błędów w rzadkich podgrupach - na MIMIC-CXR współczynnik błędów spadł z 87 procent do 74 procent, co wciąż jest wysoko. Kluczowy wniosek badaczy: fairness w diagnozowaniu rzadkich chorób zależy jednocześnie od rodzaju znaleziska, podgrupy demograficznej i wybranego progu decyzji, nie tylko od częstości etykiet czy ranking metryk. To oznacza, że przed wdrożeniem każdy system musi być sprawdzony dla każdej kombinacji tych czynników, nie tylko dla ogólnej wydajności.