Zespół badaczy przeanalizował, jak modele języka kodują wiedzę o różnych systemach pisma (alfabetu łacińskiego, cyrylicy, znaków chińskich itp.) poprzez ich warstwy neuronowe. Za pomocą dwóch metod interpretacyjności - testów logistycznej regresji i analizy logit-lens - ujawnili fascynujący wzorzec przetwarzania informacji.
W pierwszych warstwach modelu zarówno skrypt wejściowy jak i instruowany skrypt wyjściowy są już kodowane, co sugeruje szybką ekstrakcję tej informacji. Jednak rzeczywiste zobowiązanie się do konkretnego skryptu wyjściowego - czyli faktyczna decyzja, w którym systemie pisma ma być odpowiedź - pojawia się dopiero w ostatnich warstwach sieci. W warunkach normalnych, przez większość głębi modelu, reprezentacje pośrednie domyślnie sprzyjały łacinie, aż do końcowych warstw, gdzie następuje ostateczne zaangażowanie.
Wyniki mają istotne implikacje dla projektowania modeli wielojęzycznych. Krótsze, mniej głębokie modele wykazywały słabszą wydajność w obsługiwaniu różnych skryptów, co wskazuje na bezpośredni związek między głębokością architektury a zdolnością do poprawnego obsługiwania wielkich systemów pisma. Badanie sugeruje, że budowanie wystarczająco głębokich modeli jest nie tylko techniczny opracowaniem wydajności, ale fundamentalnym wymogiem dla rzeczywiście inkluzywnych architektur wielojęzycznych.