Международный zespół badaczy przeprowadził szczegółową audycję popularnego zestawu danych do klasyfikacji fake newsów ISOT/Kaggle, który jest szeroko używany w badaniach nad weryfikacją faktów. Odkryli, że modele osiągające ponad 98% dokładność polegają głównie na artefaktach danych i wyciekach, a nie na rzeczywistym uczeniu się rozróżniać fałszywe i autentyczne artykuły.
Badania ujawniły trzy główne źródła przecieków. Po pierwsze, zbiór danych jest częściowo zdegenerowany - klasyfikator otrzymujący tylko pole metadanych tematu (bez treści artykułu) osiąga doskonały wynik F1=1.0, ponieważ właściwe i fałszywe artykuły mają całkowicie różne kategorie. Po drugie, metadane zawierają znaczące sygnały, w tym tag źródła obecny w 99.2% autentycznych artykułów. Po trzecie, zbiór testowy zawiera 6251 zduplikowanych dokumentów, zanieczyszczających 19.4% testów naiwnych. Usunięcie wszystkich trzech źródeł przecieków obniża F1 z 0.9935 do 0.9814 - relatywnie mały spadek.
Najważniejsze odkrycie dotyczy generalizacji. Gdy naukowcy testowali modele na artykułach z zupełnie nowych tematów (topic-disjoint protocol), wydajność gwałtownie spadała - precyzja średnia zmniejszyła się z 0.9995 do 0.9475. Nawet modele fine-tunowane na DistilBERT, osiągające F1=0.9993 na danych treningowych, traciły 12.9 punktu precyzji przy zmianie tematyki. To sugeruje, że modele uczą się głównie stylu redakcyjnego specyficznego dla danych treningowych, a nie uniwersalnych cech fałszywych wiadomości. Badanie stanowi ostrzeżenie dla badaczy nad weryfikacją faktów - wysoka dokładność benchmarkowa wcale nie oznacza, że model będzie działać w rzeczywistych scenariuszach.