Naukowcy proponują rewolucyjny sposób myślenia o tym, jak oceniamy modele sztucznej inteligencji. Zamiast traktować wyniki ewaluacji jako zwykłe liczby do uśredniania, powinniśmy rozpatrywać je jako twierdzenia epistemiczne - obiekty z właściwościami, które określają, na ile możemy im ufać. Problem z obecnym podejściem jest prosty: gdy łączymy ocenę człowieka (wiarygodną), metrykę automatyczną (czasem niedokładną) i wynik benchmarku poprzez zwykłą średnią, otrzymujemy wynik wydający się bardziej pewny niż rzeczywistość. To zjawisko badacze nazywają trust inflation.
Klucz do rozwiązania leży w trzech warstwach metadanych. Po pierwsze, formalność - ocena człowieka to silniejszy dowód niż automatyczne metryki. Po drugie, zakres - wynik benchmarku obowiązuje dla testowanej dystrybucji danych, nie dla wszystkich możliwych przypadków. Po trzecie, okna ważności - wyniki benchmark mają datę wygaśnięcia. W miarę jak trenujemy nowe modele, dane testowe ulegają kontaminacji (modele mogą widzieć je podczas treningu), a rozkłady danych w świecie rzeczywistym się zmieniają.
Badacze oparli swoje podejście na weakest-link aggregation - konserwatywnemu podejściu, które zamiast uśredniać, bierze pod uwagę najsłabszy sygnał. Testując to na publicznym HELM leaderboardzie z 54 frontier modelami, odkryli coś szokującego: pięć najlepszych modeli rankingowanych tradycyjną średnią i weakest-link to całkowicie rozłączne zbiory. To oznacza, że sposób, w jaki agregujemy sygnały ewaluacji, może fundamentalnie zmienić nasze wnioski o tym, które systemy AI są rzeczywiście najlepsze.