Modele AI mogą przypadkowo ujawniać dane z publicznych benchmarków numerycznych, przez co wyciekają informacje z zestawów testowych wykorzystywanych do ich trenowania. Badacze nazwali to zjawisko NumLeak i wykazali, że gdy modelowi fundamentacyjnemu zadamy pytanie zawierające konkretne liczby ze znanych benchmarków, potrafi on częściowo rekonstruować oryginalne dane testowe. To oznacza, że to, co powinno być tajnym zestawem testowym, może zostać w pewnym stopniu odtworzone przez atakującego, który zna publiczne numery z benchmarków.
Odkrycie ma poważne konsekwencje dla wiarygodności wyników, którymi chwalą się producenci modeli. Jeśli model zapamiętał fragmenty zestawu testowego podczas treningu, jego wyniki mogą być zawyżone i nie odzwierciedlać rzeczywistej wydajności na nowych zadaniach. Problem dotyczy zarówno bezpieczeństwa danych treningowych - bo umożliwia wyciąganie informacji, które powinny pozostać prywatne - jak i metodologii oceny modeli. Naukowcy pokazali, że wiele popularnych benchmarków numerycznych zostało najpewniej włączonych do zbiorów treningowych wielkich modeli językowych, co wynika z faktu, że dane treningowe pochodzą z ogólnych zbiorów internetowych.
Odkrycie budzi pytania o transparentność procesu oceny AI. Producenci modelowych fundamentacyjnych mogą zadeklarować imponujące wyniki na standardowych testach, ale jeśli modele zapamiętały dane testowe, wyniki te są wiarygodne tylko do pewnego stopnia. To sygnał, że branża musi bardziej rygorystycznie pilnować rozdzielenia zbiorów treningowych od testowych oraz rozwinąć nowe metody walidacji, które będą odporne na tego typu przecieki.