Naukowcy z arXiv odkryli fundamentalną organizację w strukturze transformerów. Modele rozwijają "uprzywilejowane bazy" - kierunki w residualnych strumieniach, wokół których gromadzi się struktura związana z przewidywaniem tokena. Ten kierunek predykcji - reprezentujący unembedding wektora aktualnie przewidywanego słowa - służy jako zakotwiczenie dla całej przestrzeni informacyjnej modelu.
Geometria ta wykazuje wyraźną stratyfikację. Obszary blisko kierunku predykcji są wysoko ustrukturyzowane, grupują się w nich reprezentacje podobnych promptów i zadań. Natomiast regiony daleko od tego kierunku są bardziej płaskie i nie różnicują dobrze między grupami promptów. Ta struktura prawie nie pojawia się w analizach opartych na wariancji głównych osi, szczególnie gdy dane wejściowe są heterogeniczne. Odkrycie to znaczy, że tradycyjne metody analizy przemieszczeń mogą przeocze kluczowe organizacyjne cechy modelu.
Badania wykazały praktyczne znaczenie tej architektoniki. Zaburzenie wariancji najbliżej kierunku predykcji powoduje natychmiast rozbieżności w przewidywaniach i zmianę ramy zadaniowej. Natomiast zaburzenie kolejnego poziomu opóźnia divergencję i zachowuje semantyczną ramę. To sugeruje, że predykcyjny interfejs - choć zajmuje wąski wycinek przestrzeni - jest funkcjonalnie kluczowy dla działania modelu. Stratyfikacja pozostaje konsekwentna we wszystkich testowanych architekturach, od gęstych modeli do mixture-of-experts o skalach od 7B do 120B parametrów.