Naukowcy zaproponowali zmianę w architekturze ResonatorLM - modelu sekwencyjnego, który unika kwadratowego kosztu obliczeniowego mechanizmu attention poprzez utrzymanie stanu o stałym rozmiarze. Zamiast używać ustalonej fazy odczytu dla wszystkich wejść, nowy wariant czyni ją funkcją bieżącego tokena, co wprowadza zależność od zawartości przy zachowaniu dokładności konwolucji i kosztem zaledwie 0.2 procenta dodatkowych parametrów.
Anchor analityczna ujawnia fundamentalne wyzwania pierwotnego podejścia. Bank oscylatorów tłumionych rzeczywiście koduje upływ czasu w fazie, jednak zwykły token spada poniżej szumu wypadkowego w ciągu zaledwie 2-8 kroków. Żaden wybór współczynnika tłumienia nie rozciąga liniowej rekonstrukcji poza około 16 tokenów. Problem pojawiał się w głowach sieci, które akumulowały więcej historii niż widziały podczas trenowania, powodując awarię poza pierwotną długością sekwencji.
Testing 6-milionowych modeli znaków na WikiText-2 pokazuje, że adaptacyjna faza dopasowuje oryginał na długości treningowej (256 tokenów), ale krytycznie - usuwa jego niepowodzenie na dłuższych sekwencjach. Gdy model trenowany na 256 tokenach został przetestowany na 1024, perpleksity spadła z 12.81 do 3.76. Analiza wykazała, że nauczona faza śledzi bieżący znak raczej niż odległość temporalną i nie poprawia pobierania informacji, co sugeruje bardziej subtelny mechanizm działania niż przewidywano.