Naukowcy przeanalizowali, jak kolejność warstw w transformerach wpływa na przebieg wnioskowania modeli LLM. Zamiast szukać funkcji w poszczególnych parametrach czy attention heads, skupili się na obserwowaniu trajektorii stanów warstw - czyli jak reprezentacje zmienia się przechodząc przez kolejne warstwy sieci. Ich eksperyment wykazał, że prawidłowa kolejność warstw tworzy ścieżki do wyniku znacznie bardziej wyrównane niż scenariusze, w których zachowali końcowy stan, ale permutowali kolejność warstw.
To odkrycie potwierdzili testując modele Qwen, Llama i Gemma - efekt transferu kolejności był konsekwentny. Interesujące, że ten porządek okazał się być architektoniczną właściwością niezależną od konkretnego treningu - pojawił się również w trzech losowych inicjalizacjach tej samej architektury Qwen. Bezpośrednie ukryte stany warstw okazały się lepszym opisem procesu niż analiza rozkładów prawdopodobieństwa na słowach, a autoresom udało się nawet stworzyć współrzędne zadanią-specyficzne, które pozwalały obliczyć konkurencję między kandydatami.
W praktycznym zastosowaniu naukowcy znaleźli lokalnych "operatorów przejścia" - specyficzne punkty w sieci, które pozwalały selektywnie kontrolować trajektorie stanów. Poprzez interwencje w bramach zaufania udało im się zmienić decyzje modelu dla 17 na 87 testowych scenariuszy, nie naruszając wyników w pozostałych 203 przypadkach. To sugeruje, że proces wnioskowania transformerów może być nie tylko obserwowany i modelowany matematycznie, ale również precyzyjnie manipulowany, co ma potencjalne znaczenie dla bezpieczeństwa i interpretacji sztucznej inteligencji.