Południowa Afryka opublikowała politykę dotyczącą sztucznej inteligencji, którą pisała przy pomocy AI, lecz okazało się, że dokument zawiera fałszywe cytowania. Sytuacja jest szczególnie żenująca, biorąc pod uwagę, że kraj tworzył ramowe wytyczne dla całej branży technologicznej właśnie za pośrednictwem narzędzi, których potencjalne błędy próbował regulować. Błąd ujawniono stosunkowo szybko po publikacji, kiedy badacze i eksperci zwrócili uwagę na cytaty przypisane naukowcom i dokumentom, które nigdy ich nie zawierały.
Historia ta idealnie ilustruje rzeczywisty problem współczesnych systemów AI - tendencję do "hallucynacji", czyli generowania plausibilnie brzmiącego tekstu, który wydaje się autentyczny, ale jest całkowicie zmyślony. Modele językowe potrafią uwiarygodnić sfabrykowane cytaty, dodając nazwiska badaczy i tytuły publikacji, które brzmią wiarygodnie. W kontekście opracowywania polityki publicznej to stanowi poważne zagrożenie dla rzetelności i wiarygodności dokumentów rządowych. Południowoafrykańskie władze miały dostęp do narzędzi AI, ale zabrakło im odpowiedniej weryfikacji i kontroli ludzkiej na etapie tworzenia kluczowego dokumentu.
Incydent stał się przestrogą dla instytucji rządowych na całym świecie, które rozważają wykorzystanie AI do tworzenia polityk czy oficjalnych materiałów. Choć automatyzacja przyspieszył pracę, brak rzetelnej edycji i weryfikacji ekspertów może mieć katastrofalne skutki dla wiarygodności tych dokumentów. Polska i inne kraje rozwijające wytyczne dotyczące AI powinny pamiętać o tej lekcji: AI może być pomocnym narzędziem, ale wymaga nadzoru człowieka, szczególnie gdy chodzi o fakty, cytaty i oficjalne stanowiska.