Badacze z arXiv zaproponowali zautomatyzowany pipeline z udziałem człowieka do mierzenia zgodności programów studiów informatycznych z międzynarodowymi wytycznymi curricularnymi. Metoda została zastosowana do jednego kierunku BSc w Informatyce, porównując pokrycie względem Computer Science Curricula 2013 (CS2013) i 2023 (CS2023). Program i każdą wytyczną reprezentowano jako ustrukturyzowane korpusy, a następnie generowano kandydatów do mapowania kursów na jednostki wiedzy za pomocą semantic retrieval, potwierdzając dopasowania poprzez ocenę człowieka.
Z siedmiu przetestowanych retrievers, ensemble reciprocal-rank-fusion osiągnął najlepsze wyniki, podczas gdy rozputowany model long-context osiągnął mniej niż mały model sentence. Wyniki wskazują, że wybór narzędzia retrieval istotnie wpływa na jakość mapowania — wniosek ważny dla przyszłych badań curriculowych. Program badany pokrywał 49,7% jednostek wiedzy CS2023 i 50,9% CS2013, pozostając względnie stały przez dekadę. Niezależny drugi oceniający potwierdził wyniki (Cohen's kappa 0.64 dla CS2023, 0.69 dla CS2013).
Rozczągnięcie metody na artykułację kompetencji i głębię kognitywną pokazało, że program artykułuje wymagane kompetencje dla około 88% pokrytych jednostek w obu wytycznych, lecz dostarcza je na zalecanej głębi dla 76% obecnych jednostek w CS2023. Badanie adresuje znaczący problem w edukacji informatycznej — brak reproducibilnych sposobów mierzenia i śledzenia alignment programów z ewoluującymi wytycznymi międzynarodowymi.