Jak ludzie w rzeczywistości wykrywają teksty napisane przez AI

Nowe badanie z arXiv pokazuje, że identyfikacja tekstów napisanych przez AI w praktyce bardzo różni się od tego, jak działają automatyczne detektory. Badacze analizowali komentarze redaktorów Wikipedii i opinię studentów, łącząc analizę jakościową z obliczeniami zmian leksykalnych, aby zrozumieć jak ludzie naprawdę rozpoznają tekst od AI.

Wykrycia nie opierają się na jednym, konkretnym znaku charakterystycznym AI. Zamiast tego ludzie sięgają po różne rodzaje dowodów - od dyskretnych cech tekstu po osądy dotyczące zawartości, logikę wnioskowania czy nawet założenia o moralnym charakterze autora. To wszystko jest niespójne, zmienia się w czasie i zależy od kontekstu. Kluczowe spostrzeżenie: ludzie często identyfikują AI przez coś, co badacze nazywają pragmatyczną niepoprawnością - kiedy elementy tekstu nie pasują do tego, co byłoby odpowiednie w danym kontekście.

To oznacza, że detekcja AI w świecie rzeczywistym to nie tyle neutralna obserwacja "sztucznych" cech, ile zasobów dyskursywnych, które mogą być wykorzystane do utrzymania i definiowania norm społecznych. Identyfikacje są dynamiczne i contextowe, co ma implikacje dla tego, jak rozumiemy granicę między tekstem człowieka a maszyną w zglobalizowanym środowisku cyfrowym.