ArXiv, największy na świecie serwer z przedpublikacjami prac naukowych, wprowadzi zakaz publikowania artykułów zawierających halucynacje generowane przez AI - czyli zmyślone lub nieprawdziwe informacje produkowane przez modele sztucznej inteligencji. To pierwsza poważna próba regulacji problemu halucynacji w naukowym obiegu informacji, która dotyka dziesiątków tysięcy naukowców publikujących na platformie każdego roku. Decyzja arXiva sygnalizuje, że nawet otwarty na technologię świat badań naukowych zaczyna dostrzegać zagrożenia związane z nieprzemyślanym wdrażaniem narzędzi AI.
Tło dla tej regulacji jest oczywiste - coraz więcej naukowców sięga po ChatGPT, Claude i inne duże modele językowe do pisania fragmentów prac, analizy danych lub generowania pomysłów. Problem w tym, że te modele potrafią z całkowitą pewnością siebie wymyślać cytaty, dane, nawet całe publikacje, które nigdy nie istniały. Naukowiec, który polega na AI bez weryfikacji, może bez świadomości opublikować pełną fantazji pracę, która przekona czytelników, że coś zostało udowodnione, gdy w rzeczywistości model po prostu konfabulował. Halucynacje w pracy naukowej to nie tylko kłopot dla autora - to zagrożenie dla całej nauki, bo fałszywe dane mogą trafiać do recenzentów, inspirować kolejne badania i rozprzestrzeniać się w literaturze naukowej jak wirus.
ArXiv stoi przed trudnym wyzwaniem, bo trudno jest techniczne i sprawiedliwie egzekwować taki zakaz. Jak rozpoznać, czy konkretny fragment tekstu pochodzi z AI, a czy z konfabulacyjnego wyobrażenia autora? Sama obecność AI w procesie pisania nie powinna być zakazana - problem dotyczy wyników, czyli faktycznych błędów i zmyśleń. Dlatego właściwie chodzi o przesunięcie odpowiedzialności na autorów i recenzentów, którzy muszą być bardziej czujni i krytyczni wobec tego, co czytają. To kolejna zachęta dla naukowców, aby traktować AI jako narzędzie wspomagające, a nie ostateczne źródło prawdy.