Naukowcy z zespołu zajmującego się edukacyjnym AI opracowali CSTutorBench, pierwszy benchmark specjalizowany w ocenie małych modeli językowych jako korepetytorów programowania blokowego. Benchmark zawiera 17 scenariuszy pytań ocenianych względem rubryku pedagogicznego ugruntowanego w badaniach nad tutoring i feedback, z wykorzystaniem pipeline'u LLM-as-judge z człowiekiem w pętli do automatycznej ewaluacji.
Badanie objęło 11 modeli o parametrach od 4B do 120B i ujawniło zasadniczą lekę: modele osiągają dobre wyniki w aspektach powierzchniowych - prawidłowa słownictwo, ton czy struktura odpowiedzi - ale zdecydowanie gorzej radzą sobie z głębszymi umiejętnościami pedagogicznymi. Szczególnie problematyczne są dla nich unikanie "answer leakage" (przypadkowego podania pełnej odpowiedzi) oraz sensowne angażowanie się w historię debugowania studenta - czyli faktyczne rozumienie, co uczeń już spróbował. Zaskakujące jest, że wielkość modelu sama w sobie nie przesądzała o jakości tutoringu. Zamiast tego rodzina modelu i podejście do instruction-tuningu okazały się lepszymi predyktorami.
Najciekawszym rezultatem było stwierdzenie, że wzmocnienia prompt-ów wywiązane z badań edukacyjnych poprawiły wyniki dla 10 z 11 testowanych modeli. To sugeruje, że właściwy kontekst edukacyjny i prompt engineering mogą kompensować naturalne ograniczenia mniejszych modeli. Wyniki CSTutorBench są ważne dla szkół K-12, które chcą wdrażać AI tutory bez kosztów i obaw związanych z prywatnością, które niosą duże modele proprietary.