Systemy tutorskie wykorzystują progi mistrzostwa do decydowania, kiedy uczniowie mogą przestać ćwiczyć i przejść dalej, ale ten sam próg liczbowy prowadzi do zupełnie różnych decyzji w zależności od tego, jaki model knowledge tracing się go używa. Badacze przeanalizowali sześć modeli KT na czterech publicznych zbiorach danych edukacyjnych i ocenili 12 progów od 0,50 do 0,99, mierząc wydajność po przejściu, zasięg postępu, obciążenie praktyką i nierówności między grupami uczniów o różnym poziomie wstępnym.
Odkrycia pokazują fundamentalną niezgodność między modelami. Bayesian Knowledge Tracing (BKT) jest względnie niewrażliwy na zmiany progu, podczas gdy modele neuronowe stają się znacznie bardziej selektywne wraz ze wzrostem progu wartości. Ta różnica wynika z tego, jak modele funkcjonują: BKT szacuje ukryte prawdopodobieństwo opanowania materiału, natomiast modele neuronowe przewidują prawdopodobieństwo poprawnej odpowiedzi na następne pytanie. W rezultacie ten sam próg numeryczny nie reprezentuje ten sam rzeczywisty poziom mistrzostwa w obu podejściach. W połowie testowanych scenariuszy modele neuronowe i BKT różniły się o ponad 0,10 w wyborze optymalnego progu.
Wyniki mają praktyczne implikacje dla projektowania systemów edukacyjnych. Bardziej rygorystyczne progi nie zmniejszały w wiarygodny sposób luk w wydajności między uczniami i mogły dysproportjonalnie ograniczać możliwość przejścia - uczniowie z lepszym poziomem wstępnym mieli nawet trzy razy większe szanse na przejście przy tych samych warunkach. Najlepiej zbilansowany próg znacznie się różnił w zależności od modelu i specyficznych ustawień instrukcyjnych, co wskazuje, że projektanci systemów muszą dostosować progi do konkretnego wybranego modelu, a nie stosować uniwersalny przepis.