Zanieczyszczenie benchmarków poprzez przeciek danych testowych do zbiorów treningowych rzeczywiście zawyża wyniki absolutne modeli o średnio 0,187 punktu procentowego, ale praktycznie nie wpływa na ich rankingi. Naukowcy rozdzielili dwie często mylone kwestie: czy zanieczyszczenie podnosi liczby, oraz czy zmienia kolejność modeli na liście. Ta drugie pytanie jest znacznie bardziej istotne dla praktycznego użytku leaderboardów.
Badania wykorzystały 47 publicznie dostępnych modeli i 74 modele specjalnie fine-tunowane ze znaną dawką zanieczyszczenia, testując je na czterech popularnych benchmarkach: ARC, GSM8K, HellaSwag i MMLU. Kluczowym narzędziem była metoda parafrazowania - zamiast używać oryginalnych pytań testowych, naukowcy tworzyli semantycznie równoważne, parafrázowane wersje. To pozwoliło izolować efekt czystej memorizacji od rzeczywistych zdolności modelu. Negatywne testy kontrolne (modele trenowane bez zanieczyszczenia) wykazały prawie zerowe odchylenia.
Wyniki są zaskakujące dla branży zajętej debatą o wiarygodności rankings. Korelacja rankingowa między standardowym leaderboardem a wariantem kontrolowanym parafrazami wyniosła 0,997 - praktycznie identyczne rankingi. Spośród 188 kombinacji model-benchmark, tylko 3 wykazały zanieczyszczenie zweryfikowane na dwóch niezależnych zbiorach referencyjnych. Oznacza to, że obecne listy rankingowe mogą zawyżać bezwzględne wyniki, ale pozostają wiarygodne jako narzędzie porównywania modeli między sobą.