Jak rozpoznać ludzkie cechy w wierszach pisanych przez AI

Badacze z arXiv przeprowadzili badanie mające na celu zidentyfikowanie cech, które sprawiają, że wiersze napisane przez AI są niemal niemożliwe do odróżnienia od utworów autorstwa człowieka. Problem jest szczególnie poważny w kontekście akademickim - standaryzacja AI chatbotów na całym świecie doprowadziła do wzrostu przypadków plagiatu przy użyciu sztucznej inteligencji, a wiersze generowane przez modele to kategoria tekstów, która stanowi największe wyzwanie dla obecnych detektorów.

Zespół zaproponował zero-shot detection pipeline oparty na zestawie danych zawierającym zarówno ludzkie, jak i AI-generowane wiersze. Podejście to pozwala na weryfikację rozróżnialności pomiędzy twórczością człowieka a AI bez konieczności rozbudowanego trenowania. Złożoność zadania wynika ze subiektywnej natury poezji i czarnosk oprzęzowej struktury nowoczesnych dużych modeli językowych (LLM), co utrudnia weryfikację wcześniejszych twierdzeń naukowców.

Identyfikacja kluczowych atrybutów wierszy przynosi praktyczne korzyści na dwóch poziomach: zmniejsza ilość danych treningowych potrzebnych do fine-tuningu, gdyż skupia się tylko na wierszach z błędnie klasyfikowanymi cechami, oraz dostarcza cennych informacji dla ulepszonego wykrywania tekstu generowanego przez AI. Takie podejście może stać się przydatne zarówno dla narzędzi antyplagiatowych, jak i dla lepszego zrozumienia różnic między twórczością ludzi a algorytmów.