Naukowcy z MIT i ich współpracownicy wykazali w badaniu opublikowanym w Nature Medicine, że sposoby wyjaśniania decyzji systemów AI w diagnostyce medycznej mają drastycznie różny wpływ w zależności od tego, kto ich używa. Testując narzędzia do diagnozowania chorób skóry, stwierdzili, że osoby bez medycznego przygotowania rzeczywiście poprawiały swoją dokładność diagnostyczną, ale głównie poprzez całkowite poleganie na sugestiach modelu AI. Natomiast lekarze podstawowej opieki zdrowotnej osiągali najlepsze rezultaty, gdy otrzymywali prognozę AI bez żadnych wyjaśnień dotyczących uzasadnienia.
Marzyeh Ghassemi z MIT podkreśla, że te ustalenia wymagają znacznie większej uwagi przy projektowaniu interfejsów medycznych z AI. Problem tkwi w tak zwanym automation bias - tendencji użytkowników do zbyt dużego polegania na rekomendacjach systemów automatycznych. Wyjaśniające narzędzia AI, które mają zwiększać przejrzystość i pozwalać użytkownikom na lepszą ocenę predykcji modelu, mogą w rzeczywistości wzmacniać tę tendencję, szczególnie wśród osób bez wystarczającej wiedzy medycznej do krytycznej oceny wyjaśnień.
Badanie ma kluczowe znaczenie dla rosnącej liczby produktów opartych na AI dotyczących diagnostyki - zarówno tych trafiających do specjalistów, jak i bezpośrednio do pacjentów poprzez aplikacje wyszukiwarek medycznych. Ghassemi zauważa, że dobre systemy AI rzeczywiście mogą poprawiać wyniki w niektórych ustawieniach zdrowotnych, ale musi to być bardzo ostrożnie zbalansowane z ryzkiem automacyjnego odchylenia. Implikuje to, że uniwersalne podejście do wyjaśniania decyzji AI w medycynie nie zadziała - interfejsy powinny być dostosowane do poziomu wiedzy użytkownika i typu diagnostyki.