Różne werdykty dla tego samego źródła: warunki produkcji tekstu utrudniają detekcję AI w języku rosy

Automatyczne systemy do wykrywania tekstów wygenerowanych przez AI dają sprzeczne wyniki, gdy zmieniają się warunki produkcji tekstu, nawet jeśli pochodzi on z tego samego modelu. Badanie opublikowane na arXiv pokazuje, że problem tkwi w samej naturze testów - pochodzenie tekstu to właściwość procesu generacji, a nie cecha obserwowalna w samym tekście, dlatego trudno odróżnić wpływ technologii od wpływu okoliczności produkcji.

Rosyjscy naukowcy przeanalizowali 1882 dokumenty w ruszczeniu, z których maszyna część zawierała teksty generowane przez cztery rodziny modeli w 45 różnych zadaniach w trzech trybach. Kluczowe porównanie odbywało się w obrębie tekstów maszynowych - oba warianty pary pochodziły od tego samego modelu dla tego samego zadania, różniły się tylko sformułowaniem instrukcji. Cztery metody pomiaru "zmaszłości" tekstu (indeks interpretowalne, wytrenowany klasyfikator, metryka zero-shot na otwartym modelu i model-sędzia) wykazały wysoki stopień niespójności. Gdy zmienił się tryb zadania, trzy metody pokazały spadek wyników, podczas gdy model-sędzia pokazał wzrost - żaden interwał ufności nie obejmował zera.

Wyniki sugerują fundamentalny problem w podejściu do deteksji AI - obecnie dostępne narzędzia mogą być podatne na fałszywe alarmy i fałszywą negacje w zależności od warunków produkcji tekstu. To ma ważne konsekwencje dla każdej aplikacji, gdzie werdykt niesie konsekwencje dla autora, od akademickiej kontroli plagiatu po weryfikację autentyczności treści publicznej. Badanie pokazuje, że zanim osiągnęliśmy niezawodne detektory, musimy lepiej rozumieć, które cechy tekstów rzeczywiście wskazują na pochodzenie od modelu, a które są efektem ubocznym sposobu ich tworzenia.