Naukowcy testowali, czy duże modele językowe potrafią przewidzieć poziom trudności zadań edukacyjnych z testu czytania i pisania. Zbadali różne strategie promptowania i ustawienia parametrów na wielu LLM-ach, porównując ich wyniki z modelami tylko-enkoderami i tradycyjnymi metodami machine learning'u. Zero-shot GPT-4.1 z temperaturą 0 uzyskał najlepszy wynik spośród LLM-ów - quadratic weighted kappa równą 0.578 - ale był wciąż gorszy niż ConvBERT z wynikiem 0.625, który zdecydowanie wyprzedzał najlepsze modele oparte na cechach.
Analiza szczegółowa ujawniła poważny problem: wszystkie LLM-y miały trudności ze wskazaniem zadań trudnych. Co ważne, bardziej zaawansowany GPT-5.4 systematycznie niedoceniał poziom trudności - traktował większość zadań jako łatwe. Badanie osadzenia (embedding) pokazało, że reprezentacje zadań o różnych poziomach trudności były pomieszane razem w przestrzeni wektorowej, co sugeruje, że sama zawartość semantyczna zadania to zbyt mało informacji do prawidłowego oszacowania trudności.
Wyniki mają konsekwencje dla automatycznego generowania pytań z użyciem LLM-ów. Skoro modele nie potrafią niezawodnie rozpoznać trudności (a ich zdolności rosną, potrafią coraz mniej trudne zadania identyfikować jako trudne), ich używanie do tworzenia zestawów testowych powinno być poprzedzone szczególną ostrożnością. Wskazuje to, że LLM-y mogą nie posiadać wystarczającego rozumienia pedagogicznego aspektów edukacji, by być używane w autonomicznych systemach oceny bez nadzoru człowieka.