Hallucynacje faktowe w modelach językowych są zwykle postrzegane jako problem braku wiedzy - model nie zna odpowiedzi bo danego faktu nie ma w jego pamięci. Zespół badaczy pokazuje jednak że to tylko część problemu. Nawet gdy model widział dany fakt podczas treningu, ograniczona pojemność pamięci zmusza go do przechowywania informacji w przybliżony sposób, co prowadzi do zniekształceń i błędów.
Badacze zaproponowali teoretyczny model oparty na informacyjnej teorii rate-distortion. Analizowali sytuację gdzie model musi zapamiętać M faktów treningowych w B bitach pamięci aby odpowiadać na N możliwych pytań. Matematyczne wyprowadzenia pokazują że błędy dzielą się na dwie części: zniekształcenia kompresji dla obserwowanych faktów oraz braki pokrycia dla nieznanej wiedzy. Границa, którą odkryli, elegancko oddaje pryoritety pamiętania.
Teoria przewiduje konkretne sygnatury które zweryfikowali eksperymentami na rzeczywistych modelach językowych. Manipulując ilością faktów i efektywną trenowalną pamięcią modelu, potwierdzili że hallucynacje rzeczywiście rosną gdy pojemność pamięci zostaje wyczerpana. Chociaż autorzy sami zaznaczają że nie jest to kompletna teoria hallucynacji, stanowi fundamentalny wgląd w jak modele językowe muszą kompromisować między zapamiętywaniem a generalizacją.