Naukowcy ze studiów opublikowanych na arXiv odkryli, że transkrypty rozwiązań modeli zawierają istotne informacje o zdolnościach modeli nawet po tym, jak benchmarki osiągają już nasycenie i prawie wszyscy uczestnicy uzyskują doskonałe wyniki. Problem nasycenia benchmarków staje się coraz większy - gdy kilka modeli zbliża się do idealnego wyniku, benchmark traci wartość do rozróżniania między nimi i przestaje być użyteczny dla polityki bezpieczeństwa AI.
Zamiast polegać tylko na wynikach liczbowych, zespół badawczy przeanalizował pełne transkrypty zawierające zapis jak każdy model rozwiązywał zadania. Testowali różne podejścia do ekstrakcji informacji - od porównywania par transkryptów przez absolutne oceny pojedynczych transkryptów, aż po analizę cech czy embeddings. Symulowali scenariusze nasycenia używając danych historycznych z poprzednich wydań benchmarków i modeli.
Wyniki pokazują, że transkrypty zawierają dużo więcej informacji niż surowe wyniki - metoda oparta na porównywaniu par transkryptów osiągnęła 5,3 razy niższy błąd predykcji niż bazowanie tylko na wyniku benchmarku. Informacja o zdolnościach rozkłada się po całym transkrypcie, ale skupia się głównie w sekacjach dotyczących rozumowania i komunikacji z narzędziami. To odkrycie ma znaczenie dla szybko rozwijającego się pola AI, gdzie tradycyjne benchmarki nasycają się coraz szybciej.