Naukowcy zaproponowali nową metodę przewidywania parametrów zadań testowych z tekstu używając embeddingów tekstowych i regularyzowanej regresji. Dotychczasowo nowe zadania trzeba było testować w terenie, zanim znane były ich właściwości psychometryczne. Nowe podejście automatyzuje proces, który wcześniej wymagał ręcznego tworzenia macierzy designu, zastępując go nowoczesnymi embeddingami tekstowymi.
Ramy oceny autorów łączą kilka innowacyjnych elementów. Oprócz samej regresji i walidacji krzyżowej z raportowaniem odchylenia standardowego, wprowadzili dwa rodzaje górnych ograniczeń wydajności. Sufit niezawodności pochodzi ze standardowych błędów parametrów, a sufit designu z kalibracji mocy opartej na symulacji. Ta podwójna granica pozwala ocenić, czy słaba przewidywalność wynika z braku sygnału tekstowego, czy z rzeczywistych ograniczeń mierzalności parametru.
Wyniki na dwóch zbiorach - zbiorze zadań matematycznych EEDI i benchmarku egzaminu medycznego BEA 2024 - pokazały zróżnicowany obraz. Trudność zadania osiągnęła współczynnik R kwadrat 0,53 w walidacji krzyżowej, czyli około 57 procent swojego sufitu niezawodności. Jednak dyskryminacja i pseudo-parametry zgadywania były mniej przewidywalne. Analiza względem sufitów ujawniła ważny wgląd: tekst odzyskuje uniformnie 57-63 procent wiarygodnej wariancji dla wszystkich celowych parametrów trudności, natomiast pseudo-parametr zgadywania z modelu 3PL ma sufit niezawodności bliski zeru, czyniąc go niewykonalnym celem przy obecnej precyzji. Na zbiorze BEA regresja oparta na embeddingach dorównała wiodącym dotychczasowym metodom.