Modele AI nowej generacji wyprzedzają benchmarki, które miały mierzyć ich zdolności do włamywania się w systemy informatyczne. Oznacza to, że dostępne narzędzia oceny bezpieczeństwa przestały być w stanie dobrze mierzyć rzeczywistą groźbę, jaką stanowią te systemy. Regulatorzy i zespoły bezpieczeństwa znajdują się w trudnej sytuacji - trudno ocenić to, czego nie potrafisz zmierzyć.
Problem pojawia się w newralgicznym momencie. Amerykańskie agencje federalne mają do 1 sierpnia na ukończenie klasyfikowanych testów bezpieczeństwa. Tymczasem skalę rzeczywistych możliwości frontier modeli w zakresie hakowania trudno jest ustalić z dotychczasowymi narzędziami pomiarowymi, które okazały się nieadekwatne do obsługi systemów nowej generacji.
To zjawisko podkreśla szerszy problem w branży AI: szybkość rozwoju modeli zdecydowanie wyprzedza tempo tworzenia odpowiednich ram oceny bezpieczeństwa. Gdy testy przestają być reprezentatywne, rosnie niepewność dotycząca rzeczywistych zagrożeń bezpieczeństwa, a regulatorzy muszą działać z niedostateczną wiedzą na temat tego, z czym dokładnie mają do czynienia.