Naukowcy przeprowadzili pierwszy skalowany audyt halucynacji LLM w generowanej autobiografii, sprawdzając każdy dzień 366-dniowego dziennika zapisanego przez model konwersacyjny. Tekst verificowano na poziomie scen anegdotycznych względem niezależnego korpusu dokumentów, wykazując, że 354 z 366 dni (96,7 procent) zawierały sceny niezatwierdzone źródłami - model hallucynował zdarzenia, które nigdy się nie wydarzyły.
Najczęstszym typem błędu okazał się "grounded drift", czyli halucynacja scen zawierających rzeczywiste osoby, pracodawców i miejsca pracy, lecz w wymyślonych kontekstach i sytuacjach. Zaledwie 12 dni (3,3 procent) zawierało całkowicie potwierdzone sceny, a 19 dni (5,2 procent) zawierało twierdzenia aktywnie zaprzeczane przez dokumenty. Badacze zaznaczają, że taxonomia czterech kategorii weryfikacji wykazała jedynie umiarkowaną niezawodność między oceniającymi.
Experymenty powtórzone na aktualnych modelach (takich jak GPT czy Claude) wykazały 100-procentowy wskaźnik porażki weryfikacji. Badanie ma kluczowe znaczenie dla rozumienia limitów LLM-ów w tworzeniu treści biograficznych i autobiograficznych, gdzie wiarygodność faktyczna jest kryticzna. Wyniki wskazują, że dobrze wytrenowany model pozostaje podatny na masowe hallucynacje nawet w zadaniach zdawałoby się prostych, jak pisanie pamiętnika na podstawie konkretnych wytycznych.