Transformer Geometry Observatory-TGO-IV to nowa topologiczna rama pracy do analizy ewolucji reprezentacji w sieciach transformerów. Zamiast badać jedynie lokalne właściwości geometryczne reprezentacji na każdej warstwie, autorzy konstruują kompleksy symplicjalne Vietoris-Rips z chmur punktów reprezentacji na poziomie tokenów i śledzą, jak ich topologiczne sygnatury zmieniają się w głębi sieci.
Dotychczasowe prace z zakresu interpretacyjności transformerów skupiały się albo na analizie izolowanych warstw, albo na charakterystyce całej sieci. Tymczasem dynamika rozwoju poszczególnych reprezentacji i ich rozmaitości podczas propagacji przez kolejne warstwy pozostawała wielce niedozbadana. TGO-IV zmienia ten stan rzeczy, proponując kompleksowy system obserwacji oparty na diagramach persistencji, kodach kreskowych, krzywych Bettiego, krajobrazach persistencji oraz metrykach bottleneck i Wasserstein.
To podejście może mieć istotne znaczenie dla zrozumienia, kiedy i jak surowe reprezentacje wejściowe ewoluują w cechy istotne dla konkretnego zadania. Zidentyfikowanie krytycznych warstw w transformerze, gdzie dochodzi do głównych zmian topologicznych, mogłoby wyjaśnić mechanizmy uczenia się tych modeli i przyczynić się do lepszego projektowania bardziej efektywnych architektur.