Transformery obsługują interakcje zależne od treści między tokenami, ale samodzielnie nie kodują porządku tokenów w sekwencji. Problem rozwiązują kodowania pozycji - metody dodające współrzędne absolutne, odległości relatywne lub rotacje zależne od pozycji do reprezentacji i wyników attention. Artykuł sonduje całą historię tego zagadnienia, od sinusoidalnych embedingów pozycji i prostych reprezentacji absolutnych przez podejścia relatywne takie jak Shaw-style representations, Transformer-XL i T5 relative position bias, aż po współczesne i coraz bardziej zaawansowane rozwiązania.
Strzałem w dziesiątkę okazały się Rotary Position Embeddings (RoPE), które elegancko konwertują absolutne indeksy pozycji w różnice faz relatywnych wewnątrz iloczynów skalarnych Query-Key. Porównanie kilku głównych metod ujawnia kluczowe różnice: gdzie pozycja jest wstrzykiwana do obliczań, koszty obliczeniowe, możliwość pracy z KV cache oraz zdolność do ekstrapolacji na dłuższe sekwencje niż widział model podczas treningu.
Pierwsze podejścia do rozszerzania kontekstu były surowe - teraz mamy Position Interpolation, skalowanie RoPE z analizą praw potęgowych, warianty aware czy dynamic NTK, YaRN czy zaawansowane LongRoPE i LongRoPE2. Badacze podkreślają cztery rzeczy wymagające optymalizacji: alokację częstotliwości, skalowanie attention, długość treningową i docelową długość kontekstu. Kluczowy wniosek: potrafienie obliczać cechy pozycyjne poza długością treningową to za mało. Niezawodna generalizacja na długie konteksty wymaga osobliwych testów - utrzymania zdolności na krótkich sekwencjach, miar perpleksity dla każdej pozycji i kompleksowej ewaluacji poza samą zdolnością do ekstraktu.