Badanie z arXiv dowodzi, że duże modele językowe potrafią zidentyfikować autorów artykułów naukowych na podstawie samych tytułów i abstraktów, kładąc przy tym kres założeniu, na którym opiera się system recenzji ślepych. Naukowcy testowali LLM na pracach opublikowanych po okresie szkolenia modeli i stwierdzili, że algorytmy rozprawiają się z tym zadaniem znacznie lepiej niż człowiek - koncentrując swoje przypuszczenia na małym zbiorze potencjalnych autorów z puli pięciu ekspertów domenowych.
Szczególnie alarmujące jest to, że ta podatność na zdemaskowanie istnieje nawet wtedy, gdy naukowcy usuwają oczywiste wskaźniki stylów pisarstwa i odwołania bibliograficzne. Oznacza to, że sieć LLM uczy się rozpoznawać tzw. "ukryte sygnatury koncepcyjne" - charakterystyczne podejścia do sformułowania problemu badawczego i wyboru kierunku eksploracji naukowej, które są specyficzne dla konkretnych naukowców. To zachowanie w sferze idei jest trudne do całkowitego zamaskowania.
Wniosek jest druzgocący dla współczesnej nauki: system recenzji ślepych, który przez dziesięciolecia stanowił obronę przed uprzedzeniami statusowymi i afiliacyjnymi, staje się coraz bardziej bezbranny wobec zautomatyzowanego wnioskowania semantycznego. Naukowcy apelują za całkowitą rewizją sposobów, w jakie społeczność akademicka chroni anonimowość autorów w epoce, gdy AI może być wykorzystywane do łamania tego systemu na każdym etapie procesu recenzji.