Badacze z arXiv CS.CL przeprowadzili pierwszy systematyczny audit humanizatorów AI pod kątem zachowania faktów. Okazało się, że wszystkie 11 testowanych komercyjnych narzędzi zmieniło lub usunęło przynajmniej jeden element z listy konkretnych faktów - liczby, daty, nazwy osób, nazwy organizacji lub cytaty - w 35-65% dokumentów zawierających takie elementy. W październikowym cyklu testów 10 z 11 narzędzi alterowało co najmniej liczby i nazwy w przynajmniej 20% dokumentów. Problem był szczególnie widoczny przy cytatach, gdzie większość zmian się skupiła.
Naukowcy zastosowali zautomatyzowany checker oparty na regułach i walidowany przez dwa systemy AI, osiągając precyzję 0.84-1.00 i recall 0.93-0.95. Zaskakujące odkrycie: zdolność narzędzia do uniknięcia detekcji jako AI-tekst nie była skorelowana z zachowaniem faktów - niektóre narzędzia skutecznie oszukiwały detektory, ale były złe w utrzymywaniu dokładności informacji. Otwarty model 12B zachował 97% liczb i nazw w specjalistycznych tekstach administracyjnych, ale przerobił 67-78% cytatów, wbrew własnemu promptowi.
Badanie pokazuje lukę w obecnym podejściu do oceny humanizatorów AI - publiczne leaderboardy mierzą tylko ewazyję detektora i podobieństwo embeddingów, ignorując faktyczną dokładność. Ta ślepota może mieć poważne konsekwencje, zwłaszcza jeśli humanizery będą szerzej stosowane w dziennikarstwie, administracji publicznej lub akademii, gdzie zmienione liczby czy nazwy mogą wprowadzić w błąd odbiorców.