Zespół badawczy z arXiv zaprezentował IMEX, metodę mającą na celu wyjaśnianie decyzji czarnych skrzynek modelowych w predykcyjnym machine learning. Podejście IMEX identyfikuje, które zmienne wnosą największy wkład w prognozę oraz jakie interakcje między zmiennymi są istotne dla określenia wyniku, bez narzucania ograniczeń na analizę interakcji wyższego rzędu.
Kluczbowym problemem w praktycznym wdrażaniu modelów głębokich i złożonych jest brak przejrzystości ich wewnętrznych mechanizmów. W krytycznych kontekstach - takich jak medycyna, finanse czy bezpieczeństwo - sama dokładność predykcji nie jest wystarczającym miernikiem walidacji. Decydenci i regulatory wymagają zrozumienia uzasadnienia dla każdej ważnej decyzji podjętej przez system AI.
Framework IMEX operuje na dwóch komplementarnych metryką: Static Correlation Power (PCS) mierzy wkład poszczególnych zmiennych, a Interaction Correlation Power (PCI) wychwytuje efekty nieaddytywne między zmiennymi. To pozwala na konstruowanie map interpretacyjności prognoz i odkrywanie wzorców interakcji mogących być spójne z ukrytymi mechanizmami wpływającymi na wynik. Takie podejście ma potencjał aby uczyć je bardziej przejrzystymi w obecnym krajobrazie AI bez pełnej przejrzystości.