Modele języka z 410 milionami parametrów osiągają poziom wydajności w śledzeniu encji porównywalny z ludźmi, podczas gdy współczesne modele znacznie go przewyższają. To odkrycie zmienia wcześniejsze założenia, że taka umiejętność wymaga miliardów parametrów i specjalizacji na kodzie.
Badacze ewaluowali zdolność śledzenia encji zarówno u 48 uczestników badania, jak i w modelach językowych, wykorzystując naturalistyczne narracje o zróżnicowanym stopniu złożoności. U ludzi zaobserwowali specyficzny spadek wydajności związany ze wzrostem złożoności narracji, a nie jej długością. Ten wynik sugeruje, że śledzenie encji - rozumiane jako wiedza o tym, gdzie rzeczy się znajdują i jak się zmieniają, nawet gdy nie jest to wyraźnie stwierdzone - jest głębokim aspektem zrozumienia języka.
W modelach językowych skalowanie wykazało systematyczną poprawę tej umiejętności. Odkrycie, że tak mała liczba parametrów wystarczy do osiągnięcia ludzkiej zdolności śledzenia encji, jest znaczące dla zrozumienia, w jakim punkcie architektur AI emergiują kluczowe komponenty rozumienia języka naturalnego. Wcześniejsze badania fałszywie przypisywały takie zdolności wyłącznie znacznie większym modelom, podczas gdy w rzeczywistości pojawia się ona znacznie wcześniej w procesie skalowania.