Badacze z dostępem do kompletnych danych treningowych obalili popularny mit o doskonałej pamięci modeli języka. Korzystając z opublikowanych korpusów OLMo-2 i Pythii oraz publicznego indeksu zawierającego dokładną liczbę duplikacji każdego zdania, zmierzylić rzeczywisty związek między ceną predykcji a ekspozycją na dane treningowe. Wyniki były zdecydowanie rozczarowujące dla zwolenników teorii o doskonałej memoryzacji - korelacja wynosiła zaledwie -0,08, czyli praktycznie brak zależności.
To odkrycie ma ogromne implikacje dla dyskusji o membership inference i bezpieczeństwie modeli. Dotychczasowe testy musiały się domyślać, które zdania były w treningach, a które nie - teraz było to możliwe do dokładnego sprawdzenia. Badacze zastosowali też sprytny trik: czytali to samo zdanie przez dwa różne modele równocześnie, co pozwało na anulowanie różnic w fluency i jakości, a i tak znaleźli ledwie śladowy związek. Modele od 1B do 13B parametrów wykazały zdumiewająco słabą zdolność do rozróżnienia zdań znanych z treningów od nowych.
Jedynym miejscem, gdzie ślad pamiętania stawał się silny, była sfera znanych, wielokrotnie powielonych tekstów - ponad tysiąc kopii. Problem w tym, że tam niemożliwe jest rozróżnienie rzeczywistego zapamiętania ekspozycji od efektu samej sławy tekstu. Badacze pokazali też, jak może powstawać iluzja membership signal - gdy tworzyli nie-członków zmieniając jedno słowo w tekście treningowym, model rzeczywiście preferował oryginał, ale różnica była taka sama niezależnie od tego, czy oryginalny tekst pojawił się raz czy sto razy.
Te wyniki kwestionują fundamentalne założenia stojące za popularnym testami membership inference. Zamiast grać z naturalnymi tekstami, gdzie sygnały są prawie niewidoczne, badacze pokazali dokładnie, gdzie i kiedy pojawiają się artefakty - i to raczej artykuł o naturze sławy w treningowych danych niż o rzeczywistej memoryzacji.