Nowoczesne Transformery to hybrydowe architektury - projekt oparty na funkcjonalnej specjalizacji

Transformery działają jak naturalne hybrydowe systemy - część głów atencji specjalizuje się w globalnym pobieraniu informacji, a część w modelowaniu zależności pozycyjnych. To odkrycie zmienia nasze rozumienie, jak uczą się te modele.

Badacze przeanalizowali modele Qwen3-series i Llama3.1, używając dwóch nowych metryk: RoPE Frequency Importance Score do mierzenia wpływu poszczególnych częstotliwości na rozkład atencji oraz RoPE Positional Dependence do izolacji zależności od rotacyjnej modulacji pozycji. Wyniki ujawniły wyraźny podział między głowami retrieval a głowami pozycyjnymi, oddzielony tzw. Global Positional Band. Granica ta odzwierciedla skale pozycyjne nauczania - ta zaobserwowana struktura funkcjonalna nie jest przypadkowa, ale wynika z właściwości treningowych.

Prowadzi to do praktycznej propozycji: Head-wise Hybrid Architecture, gdzie Full Attention zajmuje się dostępem do informacji niezależnie od pozycji, a Linear Attention modeluje lokalne zależności pozycyjne. Z proporcją FA do LA poniżej 1:3, ta architektura zachowuje siłę w modelowaniu języka i logice zdroworozsądkowej, ale jednocześnie ulepsza pobieranie informacji i radzi sobie z ekstrakcją na dłuższe sekwencje. To sugeruje przyczynę, dlaczego Transformery tradycyjnie zawodzą przy ekstrapolacji do nieznanych długości.