Zespół badawczy zaatakował problem subliminal learning - zjawiska, w którym modele językowe transmitują ukryte informacje przez odpowiedzi, które pozornie nie są powiązane z ukrytą cechą. Istniejące teorie skoncentrowane na token entanglement i wyrównaniu wektorów wyjściowych w rzeczywistości mierzą różne rzeczy i mogą prowadzić do błędnych wniosków o mechanizmach działania sieci.
Klucze eksperymentów stanowiła innowacyjna metoda donor-control: naukowcy kopiowali stan ukryty z jednego promptu (zawierającego numer) do drugiego w pięciu różnych głębokościach transformatora, obserwując, który prompt ostatecznie wpływa na wynik. Wyniki były ujawniające - kontrola kauzalna AUC wzrosła z 0.254 do 0.540 (zmiana +0.286), co znacznie przewyższa efekt obserwowany wcześniej. Ta różnica utrzymywała się nawet przy pozostawieniu tylko ośmiu bloków transformatora. W modelach Llama 3.1 efekt był konsekwentny dla wszystkich 18 badanych koncepcji.
Jednak badacze odkryli też mroczną stronę - znaczna część obserwowanych pozytywnych asocjacji tokenów okazała się artefaktem długości sekwencji, a nie prawdziwą mechanistyczną relacją. Ta odkrycie zmienia rozumienie subliminal learning i sugeruje, że przyszłe badania mechanistyczne muszą bardziej ostrożnie rozróżniać między przyczynowością a statystyczną korelacją.