Modele Knowledge Tracing tradycyjnie działają jak czarne skrzynie, którymi nauczyciele nie mogą się kierować w swoich decyzjach pedagogicznych. Zespół badawczy zaproponował nowy protokół walidacji, który jednocześnie sprawdza zdolność predykcyjną modeli, stabilność ich wyjaśnień oraz wierność wyjaśnień względem rzeczywistego procesu decyzyjnego. Porównując model XGBoost z TreeSHAP wyjaśnieniami wobec czterech głębokich modeli bazowych (DKT, SAKT, AKT i SimpleKT), naukowcy pracowali z danymi z ASSISTments 2009 i 2012 roku.
Badacze odkryli istotny problem w oryginalnym zbiorze ASSISTments 2009 - interakcje wielowieloznaczne były powielane w wierszach danych w taki sposób, że przeciekały informacje o prawidłowości odpowiedzi do wcześniejszych cech interakcji. Po naprawie tego problemu wyniki modeli zmienily się i zmienilła się kolejność ważności wyjaśnień. Model XGBoost osiągnął AUC 0.777 na zbiorze 2012 i 0.786 na naprawionym zbiorze 2009, co pokazuje konkurencyjność wobec modeli głębokich przy znacznie większej interpretowalności.
Dla praktyki edukacyjnej to oznacza możliwość budowania systemów, które nauczycielom nie tylko przewidują, jak pośledni dany uczeń, ale i wyjaśniają, które konkretne zachowania i cechy interakcji przyczynily się do tej prognozy. Stabilne wyjaśnienia ułatwiają wdrażanie takich systemów w rzeczywistych klasach, zaś wierność zapewnia, że wyjaśnienia rzeczywiście odzwierciedlają to, co model robi.