Naukowcy z arXiv przedstawili uncertainty-gated selection - metodę poprawiającą block-sparse attention dla długich sekwencji. Problem istniejących podejść polega na tym, że gdy wybierają top-k bloków kluczy, czasem sąsiednie bloki mają prawie identyczne wyniki - algorytm wybiera sztywnie bez zastanowienia, a ważne informacje mogą zostać odrzucone nieodwracalnie. Value-of-Information Router rozwiązuje to, mierząc dla każdego zapytania pewność dokonanego wyboru. Gdy przerwa między k-tym a (k+1)-szym blokiem jest mała, router podwaja zestaw przechowywanych bloków, inwestując dodatkowy budżet gdzie faktycznie się opłaca.
Wyniki są imponujące. Na LongBench-v2 medium z 2 do 15 kontekstu (pełny podzbiór), kombinacja routera z metodą Quest osiągnęła recall 0.75 wobec 0.47 dla tradycyjnego top-k - wzrost 28 punktów procentowych ze statystyczną istotnością (McNemar p<0.01). Na benchmarku RULER NIAH z wieloma kluczami model pozostaje w zasięgu 2 punktów dokładności gęstej atencji. Metoda sprawdza się konsekwentnie na czterech modelach z trzech architektur: Qwen2.5, Mistral-Nemo i Qwen3.6.
Praktyczne znaczenie jest duże dla wdrożeń. Na kontekście 128K, Qwen2.5-7B-1M zachowuje 81 procent dokładności gęstej, a Qwen3.6 - 89 procent, podczas gdy tradycyjny top-k osiąga zaledwie 9 procent. Jednocześnie połączony pipeline selekcji i kernela działa z szybkością 0.62x do 0.80x czasu gęstej atencji - oznacza to, że zyskujemy zarówno dokładność, jak i szybkość. Podejście jest niezależne od architektury modelu i łatwo integruje się z istniejącymi technikami selekcji bloków.