Zespół badawczy opracował framework do oceny metod wyjaśniającego AI oparty na syntetycznych danych ze znaną strukturą decyzyjną. Obecne podejścia mają zasadniczy problem - mierzą tylko na ile wyjaśnienia zgadzają się z predykcjami czarnej skrzynki, zamiast sprawdzać czy faktycznie oddają bazowy proces decyzyjny modelu. To powoduje, że zupełnie różne wyjaśnienia mogą osiągać podobne wyniki fidelity, jednocześnie oferując sprzeczne lub mylące interpretacje działania modelu.
Proponowana metoda opiera się na kontrolowanych interwencjach. Naukowcy generują syntetyczne zbiory danych, gdzie znaczenie każdego składnika wejścia można z góry określić. Dzięki temu można skonstruować ground truth explanations bezpośrednio powiązane z rzeczywistym zachowaniem analizowanego modelu. Framework jest testowany na trzech typach danych - binarnych obrazach, danych tabelarycznych i szeregach czasowych.
Wynikai eksperymentów oceniające dziewięć szeroko używanych metod XAI ujawniają znaczące ograniczenia obecnych technik. To ma duże znaczenie dla przejrzystości AI - właściwa ocena wyjaśnień jest kluczowa dla zaufania do systemów decyzyjnych w medycynie, finansach czy innych krytycznych obszarach. Framework dostarcza pierwszego narzędzia do rzetelnego porównywania różnych podejść do interpretowaljności.