Międzynarodowy zespół badaczy przeprowadził systematyczną analizę transformacji benchmarków dla dużych modeli językowych, badając prawie 15 tysięcy prac naukowych z okresu pięciu lat. Wykorzystali automatyczne kodowanie pełnych tekstów oraz wieloetapowy screening, aby zmapować zmiany w systemach docelowych, domenach ewaluacji, materiałach testowych i mechanizmach punktacji.
Badanie ujawnia wyraźny trend ku bardziej złożonym i praktycznym oczekiwaniom wobec LLM-ów. Coraz więcej benchmarków skupia się na zdolności do działań autonomicznych, interakcji z użytkownikami i rzeczywistych aplikacjach zawodowych. Jednocześnie obserwuje się niejednorodny rozwój udziału modeli w ewaluacji - systemy scoring'owe oparte na AI rosną zarówno wśród benchmarków dla agentów, jak i niebędących agentami, podczas gdy modele generujące materiały testowe nie wykazują porównywalnego wzrostu w ostatnich latach.
Fenomen ten rodzi kluczowe pytania o przejrzystość badań nad AI. W miarę jak modele uczestniczą w konstruowaniu testów, wykonywaniu zadań i ocenianiu odpowiedzi, pojawia się ryzyko, że benchmarki zamiast mierzyć rzeczywisty postęp, będą reprodukować wbudowane w modele preferencje i ślepe plamy. Wyniki badania wskazują na konieczność bardziej świadomego podejścia do projektowania ewaluacji, aby zapewniać rzeczywiście niezależne i wiarygodne miary postępu w sztucznej inteligencji.