Naukowcy wykorzystując duże modele języków jako sondy probabilistyczne odkryli, że arrangement słów w tekście podlega uniwersalnemu prawu skalowania. Zespół zmierzył, jak bardzo zmniejsza się perplexity modelu dla słowa docelowego w zależności od odległości wcześniejszego kontekstu, porównując to z tym samym kontekstem w wersji pomieszanej. Ta różnica - funkcja trwałości kontekstu P(d) - pokazuje czysty wpływ sekwencyjnego ustawienia słów na proces rozumienia tekstu.
Badanie objęło dziesięć korpusów obejmujących sześć rodzin językowych, zarówno tekst pisany jak i mowę naturalną. Wyniki były konsekwentne: P(d) malało w przybliżeniu jako 1/d (P(d) proporcjonalne do d^-alfa, gdzie średnia alfa wyniosła 1,04, a mediana r-kwadrat 0,96). Efekt całkowicie znikał w scrambled i syntetycznych kontrolach, replikował się niezależnie z różnymi modelami, ale nie pojawił się w sekwencjach genomowych ani białkowych badanych własnymi modelami specjalistycznymi.
Wykładnik bliski jedności oznacza, że wpływ kontekstu rozkłada się mniej więcej równomiernie na logarytmiczne skale czasowe - słowa oddalone o dwa razy większą odległość mają dwukrotnie słabszy wpływ. To odkrycie sugeruje, że języki naturalne są rządzone uniwersalnymi prawami matematycznymi na poziomie, gdzie wcześniej znano je tylko dla częstości słów i relacji między parami wyrazów. Wyniki mają znaczenie dla zrozumienia fundamentalnych właściwości komunikacji ludzkiej i mogą wpłynąć na projektowanie bardziej efektywnych architektur modelowania języka.