Naukowcy z arXiv zaprezentowali Jet-Long, nową metodę umożliwiającą modelom LLM pracę z kontekstem sięgającym 128K tokenów bez konieczności dodatkowego trenowania. Problem polega na tym, że współczesne duże modele językowe trafiają na ograniczenia okna kontekstu, na którym były trenowane - szczególnie w aplikacjach takich jak retrieval-augmented generation, analiza repozytoriów czy agentic workflows, gdzie łańcuchy rozumowania mogą znacznie przekraczać oryginalne okno pretrenigu.
Jet-Long rozwiązuje ten problem poprzez stosowanie bifokusowego podejścia zamiast uniwersalnego współczynnika skalowania. Metoda łączy dwa okna - jedno dla interakcji lokalnych na krótkich dystansach oraz drugie dla zależności długoterminowych, którego współczynnik skalowania dynamicznie dostosowuje się do bieżącej długości sekwencji. Takie rozwiązanie pozwala na zachowanie precyzji modelu na krótkich sekwencjach (całkowite odzyskanie bazowego modelu) przy jednoczesnej zdolności do ekstrapolacji na długich kontekstach. Kluczowym elementem implementacji jest użycie attention merge z metodą inclusion-exclusion oraz korekcji rotacji RoPE na bieżąco, co czyni dodatkowy koszt obliczeniowy znikomy.
Eksperymentalne wyniki na modelach Qwen3 w wersjach 1.7B, 4B i 8B pokazują znaczną poprawę nad istniejącymi metodami - zwiększenie dokładności o 4,79 pp dla najmniejszego modelu, a także najlepsze wyniki na benchmarku HELMET-RAG. W praktyce Jet-Long osiąga do 1,39x wydajności FlashAttention2 na procesorach H100 i dodaje zaledwie 4 proc. opóźnienia w generowaniu na każdej długości sekwencji, co czyni metodę praktycznie wdrażalną w produkcji.