Transformery z dwiema warstwami attention trenowane na sortowaniu zbiegają do jednego z dwóch mechanistycznie odrębnych rozwiązań - i tylko jedno z nich potrafi poprawnie sortować sekwencje dłuższe niż widziane podczas trenowania. Pierwsze rozwiązanie nie wykorzystuje drugiej warstwy attention, a drugie robi to efektywnie, osiągając perfekcyjną generalizację do dłuższych sekwencji mimo braku takich przykładów w danych treningowych.
Klucz do zrozumienia tej różnicy leży w rzadkich typach wejść - takich, które prawie nie pojawiają się przy długości treningowej, ale stają się coraz bardziej powszechne na dłuższych sekwencjach. Drugie rozwiązanie radzi sobie z nimi lepiej dzięki specjalizacji warstw, gdzie druga warstwa attention inteligentnie wykorzystuje informacje zebrane przez pierwszą warstwę do zmniejszenia swojej przestrzeni poszukiwań. Badacze pokazali, że poprzez staranny wybór inicjalizacji wag mogą kierować modelem ku nauce jednego z rozwiązań.
Interesujące jest, że na powiązanym zadaniu - znalezieniu minimum w sekwencji - pojawia się podobny fenomen, ale z odwrotnym wzorem generalizacji. Tam to rozwiązanie wykorzystujące obie warstwy generalizuje gorzej niż to opierające się na pojedynczej warstwie attention, co sugeruje, że mechanizmy warstw mogą działać przeciwko sobie w zależności od problemu.