Naukowcy odkryli fundamentalny problem, którego nikt nie powinien ignorować: gdy cechy wejściowe modelu AI są ze sobą skorelowane, żadna metoda wyjaśniania decyzji modelu nie potrafi jednocześnie być wiarygodna, spójna i kompletna. To nie jest błąd konkretnego algorytmu, lecz teoretyczne ograniczenie tkwiące głęboko w samej naturze problemu atrybucji cech.
Sprawa dotyczy kluczowych narzędzi interpretowalności AI, takich jak SHAP, LIME czy gradientowe metody saliency map, które są powszechnie stosowane w przemyśle do wyjaśniania, dlaczego model podjął konkretną decyzję. Te techniki próbują wskazać, które cechy wejściowe były najważniejsze dla predykcji. Badanie pokazuje, że w rzeczywistych scenariuszach, gdzie korelacja między cechami jest normą a nie wyjątkiem - na przykład w danych medycznych czy finansowych - każda metoda musi złożyć co najmniej jedną z trzech ofiar. Albo wyjaśnienia nie będą dokładnie odzwierciedlać działania modelu, albo wyniki będą się drastycznie zmieniać przy małych zmianach danych, albo jakieś istotne cechy zostaną pominięte w rankingu.
Problem ma poważne konsekwencje dla regulacji AI i bezpieczeństwa, szczególnie w sektorach wymagających uzasadnienia decyzji - takich jak kredyty czy diagnoza medyczna. Jeśli nie możemy ufać metodom wyjaśniania, trudniej jest wykryć bias w modelach lub udowodnić ich rzetelność organom nadzorczym. Naukowcy sugerują, że zamiast szukać idealnego rankingu cech, należy być przezroczystym o ograniczeniach każdej metody i stosować je z pełną świadomością tego, co rzeczywiście pokazują i gdzie zawodzą.