Międzynarodowe benchmarki oceniające zdolności modeli sztucznej inteligencji mogą być znacznie mniej obiektywne niż się wydaje. Badacze z arXiv odkryli, że praktycznie wszystkie punkty różniące ranking dwóch sąsiednich modeli pochodzą z zadań wrażliwych na konfigurację testu - czyli pytań, których poprawność oceny zmienia się w zależności od drobnych parametrów jak kolejność opcji odpowiedzi czy dokładne sformułowanie instrukcji.
Team przebadał cztery rodziny otwartych modeli (łącznie 12 modeli) na 3679 zadaniach z popularnych benchmarków: ARC, HellaSwag, MMLU i TruthfulQA. Każde pytanie oceniano przy 26 równie uzasadnionych konfiguracjach testowych, zmieniając przy tym wyłącznie harness - czyli formę testu, podczas gdy same pytania, wagi i sama procedura dekodowania pozostały stałe. Wyniki były porażające: model gemma-31b osiągał wyniki od 31 do 89 procent w zależności od samej konfiguracji, a aż cztery z dwunastu modeli mogły być uznane za lidera rankingu pod warunkiem wyboru odpowiedniej wersji testu.
Badanie ma głębokie implikacje dla całej branży. Obecne rankingi modeli AI mogą być w znacznym stopniu artefaktem wyboru konkretnej konfiguracji testu, a nie odzwierciedlać rzeczywistych różnic w zdolnościach modeli. Zmieniając kolejność opcji odpowiedzi czy sformułowanie pytania, można praktycznie arbitralnie wybierać zwycięzcę w porównaniach modeli. To pokazuje, że nie ma neutralnej, obiektywnej metody oceny - każdy harness wprowadza własne odchylenia, a najczęściej są one znajdowane dokładnie tam, gdzie robią największą różnicę w rankingach.