Nowy system Edu-QuRating wprowadza wielowymiarową ocenę materiałów edukacyjnych zamiast traktowania ich jako pojedynczą wartość skalarną. Podejście to powstało rozszerzając koncepcję QuRating Wettiga i kolegów, aby uwzględnić specyficzne potrzeby danych edukacyjnych - wymogi dotyczące dokładności, zaangażowania, struktury oraz dostosowania do konkretnego odbiorcy i zastosowania, niezależnie od tego czy materiał jest przeznaczony dla uczniów czy nauczycieli.
System działa na podstawie pipeline'u składającego się z trzech kroków: najpierw definiuje się kryteria edukacyjne w formie rubryk, następnie LLM pełniący rolę arbitra porównuje pary losowo wybranych dokumentów i przypisuje im oceny, a na końcu te preferencje pairwise'owe są destylowane w reusable Edu-QuRaters - modele klasyfikacyjne zdolne do niezależnego oceniania fragmentów tekstu. Badacze przetestowali system na dwóch architekturach modeli bazowych i sześciu kryteriach edukacyjnych, osiągając średnią dokładność 0.917 w przewidywaniu ocen GPT-4.1-mini.
Praktyczne zastosowanie pokazało potencjał metody w rzeczywistych scenariuszach. Zespół zastosował Edu-QuRaters do oceny 322.25 miliardów dokumentów z kolekcji FineWeb-Edu-Fortified, a następnie wykorzystał uzyskane oceny do stworzenia filtrowanego zbioru treningowego. Modele pretrenowane na mixturach wybranych algorytmem Edu-QuRating osiągnęły wyższe zbiorczej dokładności na dziewięciu benchmarkach w porównaniu z innymi podejściami, sugerując że wielowymiarowa ocena edukacyjna jest bardziej efektywna niż uproszczone filtrowanie dla poprawy jakości pretrainingowych modelów językowych.