Badanie pokazuje, że architektura modelu transformera bezpośrednio wpływa na możliwość obserwacji i interpretacji jego działania, co ma implikacje dla zrozumienia jak działają te modele.