Artykuł naukowy pokazuje fundamentalny problem w metodzie audytowania benchmarków, którą branża AI powszechnie stosuje do weryfikacji modeli. Audyty perturbacyjne - testujące stabilność wyników poprzez wprowadzanie zmian w danych - są standardowym wymogiem governance'u dla dostawców AI, ale sami badacze udowodnili, że mogą być manipulowane szczegółami implementacyjnymi niewidocznym dla czytelników raportów.
Zestawienie pięciu klas awarii (F1-F5) zdemonstrowali na rzeczywistych benchmarkach bezpieczeństwa i otwartych modelach instruction-tuned. W ich case study dwóch modeli i pięciu benchmarków wszystkie komórki w macierzy audytu spadły do niekonfirmacyjnego bucketu - żadna nie osiągnęła poziomu potwierdzającego rzetelność. To oznacza, że nawet pozytywne wyniki audytów mogą być de facto bezwartościowe, jeśli zawierają jeden z pięciu opisanych typów błędów.
Autorzy proponują sześciopunktowy gate due-diligence jako protokół withholding i disclosure dla evidence na poziomie assurance. Nie chcą całkowicie zastąpić klasyczną metodologię construct-validity, ale dodać warstwę przejrzystości. Ich praca jest wezwaniem do ostrożności wobec benchmarków jako głównego dowodu w regulacjach AI - w czasach, gdy governance framework coraz bardziej opiera się na takich audytach.