Badanie skupia się na analizie spektralnej matryc attention $M = W_q^T W_k$ w transformerach, gdzie wynik attention przed softmaxem to forma dwuliniowa score(i,j) = x_i^T M x_j. Główne odkrycie dotyczy tego, jak schemat pozycjonowania tokenów determinuje spektralne właściwości tych matryc - w modelach używających RoPE (Rotary Position Embedding) głowy previous-token wykazują spektralnie rotacyjne charakterystyki, podczas gdy modele z learned-absolute positioning lub ALiBi zachowują się bardziej jak head'y content-like, gdzie pozycja wnika poza mnożenie QK.
Autorzy przeanalizowali siedem pretrenowanych modeli obejmujących trzy główne schematy pozycjonowania i odkryli doskonałą separację na poziomie modelu - mogą zidentyfikować schemat pozycjonowania z dokładnością 97 procent badając spektrum attention. Kluczowe znalezisko: zerowanie fazy RoPE (części urojonej matrycy M_t) eliminuje induction circuit na wcześniej zidentyfikowanych głowach previous-token we wszystkich trzech testowanych modelach RoPE. To sugeruje, że spektralne sygnatury nie są przypadkowe, ale wynikiem dostrojenia modelu do konkretnego schematu.
Dynamiczna analiza pokazuje, że podczas treningu wszystkie głowy zaczynają od spektrum podobnego do macierzy losowych (Ginibre ensemble), a rotacyjny podpis pojawia się dopiero wraz z wyuczonym zachowaniem, nie wcześniej. Oznacza to, że spektralne cechy to fingerprint wyuczonych obwodów neuronowych, a nie predefiniowana cecha. Eksperymenty przyczynowo-skutkowe na małej skali udowodniły, że żaden spektralny kanał nie jest niezbędny - model potrafi obejść każde spektralne ograniczenie, choć z opóźnieniem w procesie formowania się obwodu.