Jet-Long to nowa technika tuning-free do rozszerzania kontekstu w modelach językowych, która rozwiązuje problem istniejących metod zerośladowych polegający na konieczności wyboru jednego współczynnika skalowania z góry. Podejście łączy okno lokalne wiernie przybliżające oryginalną rotacyjną pozycyjną kodowanie (RoPE) z oknem długodystansowym, którego współczynnik skalowania dostosowuje się dynamicznie w zależności od bieżącej długości sekwencji.
Architektura bifokusowa jest możliwa dzięki włączeniu metody fuzji uwagi oraz korekcji rotacji RoPE na bieżąco. Naukowcy zoptymalizowali implementację w pojedynczym kernelu CuTe, co pozwala osiągnąć przepustowość do 1,39 razy wyższą niż FlashAttention-2 na procesorach H100 (zbliżając się do wydajności FlashAttention-4). Narzut obliczeniowy dla generacji w pojedynczej partii wynosi co najwyżej 4 procent na każdej długości kontekstu.
Wyniki testów na modelach Qwen3 od 1,7 miliarda do 8 miliardów parametrów wykazują znaczną poprawę w stosunku do podstawowego systemu RULER - odpowiednio 4,79, 2,18 i 2,03 punktu procentowego. Metoda osiąga również najlepszą ogólną dokładność w benchmarku HELMET-RAG dla zadań retrieval-augmented generation, które często wymagają rozszerzania kontekstu poza oryginalny okres trenowania.