Zespół naukowców przeprowadził systematyczny audyt dziewięciu publicznych benchmarków do oceny systemów podejmujących decyzje na podstawie zasad polityki - odkrywając, że błędy w samych testach powodują ocenę prawidłowych odpowiedzi jako niepoprawnych. Badania wykazały nieobsługiwane cele, błędy referencyj ne przenikające do wyników, oraz oceniających, którzy odrzucają akceptowalne odpowiedzi lub przyznają punkty za niepełne decyzje.
Na zbiorze 96 numerycznych przypadków LegalBench SARA sama korekcja funkcji oceniającej - bez zmiany referencji czy odpowiedzi modeli - podniosła akceptację o ponad 80 punktów procentowych dla każdego z trzech testowanych modeli. W benchmarku RuleArena Tax przywrócenie wymaganego dolnego pułapu zmieniło 27 ze 100 referencji i zmniejszyło zaobserwowaną lukę między modelami. Kontrolowane zadanie dotyczące zwolnień federalnych wykazało też, że błędy w dostarczonych odpowiedziach pośrednich wpływają na ostateczne decyzje.
Badacze przedstawili BAR - Benchmark Audit and Revision, wersjonowaną kolekcję dowodów audytu i rewizji benchmarków. To ważne odkrycie ujawnia systemowe problemy w ocenie zdolności AI do podejmowania decyzji w obszarach finansowych i operacyjnych, gdzie dokładność oceny ma bezpośrednie znaczenie dla oceny niezawodności systemów w praktycznych zastosowaniach. Wyniki sugerują, że obecne rankingi modeli mogą być zaburzone błędami w samych metodach ewaluacji.