Badacze zaproponowali Asymmetric Attention Heads - framework do przydzielania różnych długości kontekstu causal poszczególnym głowicom atencji w transformerach. Zamiast tradycyjnego podejścia, w którym każda z ośmiu czy szesnastu głowic widzi pełną historię tokenu, AAH analizuje, jakie role rzeczywiście pełnią różne głowice, i przydziela im optymalne rozmiary okna kontekstowego.
Standardowa multi-head attention (MHA) traktuje każdą głowicę jednakowo - wszystkie otrzymują dostęp do całej sekwencji tokenów dostępnych przed aktualnym punktem. Tymczasem w praktyce niektóre głowice głównie analizują słowa najbliższe (kontekst leksykalny i syntaktyczny), podczas gdy inne potrzebują patrzeć znacznie wstecz, aby śledzić interakcje między podmiotami, powiązania dyskursywne czy zmiany stanu. AAH wykorzystuje statystyki pochodzące z analizy cech do grupowania głowic, organizuje te grupy hierarchicznie i przypisuje każdej grupy dostosowaną wielkość lokalnego okna kontekstowego.
W eksperymentach na sekwencjach 4096 tokenów różne warianty AAH osiągnęły niższą stratę walidacji niż czysty mechanizm pełnej atencji. To ważne odkrycie, bo sugeruje, że można zmniejszyć złożoność obliczeniową transformerów, pozostawiając wyłącznie istotny kontekst dla każdej głowicy. Badacze wykazali też, że zarówno ustalone alokacje lokalne, jak i bardziej zaawansowane schematy hierarchiczne mogą być konkurencyjne, co otwiera ścieżkę do praktycznych optymalizacji architektury transformerów bez kompromisu w wydajności modelów.