Komercyjne detektory AI zawodzą w celach, które stawia im akademia. Badacze z arXiv przeanalizowali, jak narzędzia takie jak Pangram i GPTZero reagują na różne stopnie zaangażowania AI w proces pisania akademickiego. W kontrolowanym badaniu przeprowadzonym na abstractach publikowanych w latach 2013-2015 i 2023-2025 z czterech dziedzin, odkryli szokujący problem: lekka edycja tekstu wspierana AI (zgodna z wytycznymi uczelni) jest flagowana jako potencjalne oszustwo w 64-80% przypadków. Natomiast niezmienione oryginalne abstracts z lat 2023-2025 są flagowane w zaledwie 9-15% przypadków, przy czym kierunki nieścisłe mają wyższe wskaźniki flagowania niż STEM.
To oznacza fundamentalną wadę w stosowaniu detektorów jako dowodu misconductu. Uczeni stosujący się do regulacji i uczestniczący w legalnym wspieraniu AI-wspieranym ryzykują wyższe sankcje niż ci, którzy używają zaawansowanych technik maskowania AI. Wskaźniki tau wynoszące 0.50 w badaniu pokazują słabą korelację między wynikami detektora a rzeczywistym udziałem AI. Różnice między STEM a non-STEM (dla 2023-2025 aż 96% non-STEM) sugerują, że detektory mogą być skalibrowane na podstawie treninowych danych, które nie reprezentują całej akademickiej rzeczywistości.
Wyniki tego badania prowadzą do wniosku, że uniwersytety powinny przereformować swoje podejście do detektowania AI w celu ochrony uczciwości akademickiej. Stanowcze wyłączenie wyników detektora jako samodzielnych dowodów misconductu jest konieczne. Bez tego ryzyka, że uczciwych badaczy będzie się karać bardziej surowo niż tych, którzy stosują sofistykowane techniki obchodzenia systemu.