Naukowcy przedstawili MisconceptDialogue - automatyczny framework do oceny, czy modele językowe potrafią diagnozować błędy uczniów, identyfikować leżące u ich podstaw błędy koncepcyjne i naprawiać je w wieloturowych dialogach. Zespół testował pięć otwartych modeli o rozmiarze 7-14 miliardów parametrów na ponad 5000 dialogach z symulowanymi uczniami.
Najciekawe i zarazem niepokojące odkrycie dotyczy pomiaru sukcesu. Standardowe metryki używane w benchmarkach matematycznych - exact-match scoring - wykazały 42,1% wskaźnika skuteczności remediacji na tych samych dialogach, gdzie niezależne oceny od modeli AI i 200 anotacji człowieka konwergowały do około 81,3%. Ta 39-punktowa różnica jest większa niż łączny wpływ wyboru modelu tutora, strategii nauczania czy informacji diagnostycznych. Wynik ten nie jest artefaktem pojedynczego sędziego - czterej niezależni sędziowie AI osiągnęli wysoki poziom zgody (kappa do 0,91).
Przeciwnie do oczekiwań, tutory wykazywały minimalną różnicę w wynikach, niezależnie od tego, czy otrzymały prawidłową diagnozę błędu koncepcyjnego ucznia, czy celowo zamienioną. Sugeruje to, że testy były ostrożnie zaprojektowane aby nie ustanawiać rzeczywistego uczenia się - używały symulacji zamiast rzeczywistych uczniów. Badanie wskazuje na krytyczne wyzwanie dla branży: sposób oceny może całkowicie zmienić nasze rozumienie zdolności modeli, a popularne metryki mogą niedoszacowywać rzeczywiste możliwości.