Badacze z arXiv odkryli, że językomodele przechowują podstawowy rozkład częstości wyrazów w specjalnej kierunku swojej architektury, którą nazwali kierunkiem niewiedzy. Ta struktura działa jako Bayesowski prior - model sięga do niej gdy brakuje mu informacji z kontekstu, aby zdecydować co przewidzieć jako następny token.
Fenomen pojawia się konsekwentnie we wszystkich zbadanych modelach: Llama, Qwen, Gemma i Pythia, niezależnie od wielkości od 0,4 miliarda do 405 miliardów parametrów. Naukowcy wyprowadzili metrykę lambda zwaną prior loading factor, która mierzy jak silnie model opiera się na tym unigramowym priorze w danym momencie. Empirycznie lambda maleje systematycznie wraz ze wzrostem informacyjności kontekstu - gdy model wie więcej z otaczającego tekstu, mniej przywołuje ogólne znaki z treningowych danych.
Mathematycznie rozkład predykcji można rozłożyć na dwie ortogonalne składowe, które odpowiadają dokładnie dwóm czynnikom tempered Bayesian update: prior podniesiony do potęgi lambda i likelihood napędzane kontekstem. To pokazuje że modele języka mają wbudowany mechanizm do płynnego przechodzenia między wiedzą ogólną a informacją specyficzną dla zadania. Naukowcy wykazali że kierunek niewiedzy jest kauzalnie aktywny - można go bezpośrednio modyfikować aby kierować predykcje w stronę lub od unigramowego rozkładu, co potwierdza jego fundamentalną rolę w mechanice modelu.