Naukowcy zaproponowali Joint Subspace Sparse Attention jako odpowiedź na problemy z dekodowaniem długych kontekstów w modelach LLM. Zamiast przetwarzać wszystkie tokeny z poprzednich sekwencji, JSSA inteligentnie wybiera tylko istotne tokeny, co znacznie zmniejsza ruch danych w KV-cache - waskiej gardło wydajności przy generowaniu tekstu.
Podejście opiera się na uczeniu wspólnej podprzestrzeni niskiego wymiaru dla zapytań i kluczy, co pozwala lepiej zachować strukturę informacji podczas selekcji. Zespół opracował też specjalistyczne jądro atencji bez operacji zbierania danych, które sprawnie pracuje z różnymi wariantami architektur - od standardowego GQA przez hybrydowe okna przesuwne aż po Multi-head Latent Attention. To czyni metodę uniwersalną dla różnych projektów sieci neuronowych.
Wyniki empiryczne pokazują, że JSSA konsekwentnie utrzymuje bliską pełności dokładność modelu, unikając przy tym problemów konkurencyjnych metod - takich jak inflacja długości generacji czy awarie zależne od architektury. Na GPU NVIDIA B200 metoda osiąga do 6,43x wyższą przepustowość dekodowania w porównaniu z pełnym procesem KV-attention przy kontekście 128K tokenów. To ma praktyczne znaczenie dla aplikacji wymagających przetwarzania dużych ilości tekstu w krótkim czasie.