Naukowcy ze Stanford i UC Berkeley zaprezentowali TokenGate - lekki moduł, który pozwala istniejącym modelom językowym efektywniej przetwarzać długie konteksty poprzez inteligentne przycinanie tokenów. Zamiast bezpośrednio wysyłać wszystkie tokeny przez każdą warstwę sieci neuronowej, TokenGate dodaje bramkę opartą na sieci MLP i LoRA o randze 16, która ocenia ważność każdego tokenu na danym poziomie głębokim. Highest-scoring tokeny przechodzą pełne przetwarzanie w pozostałych warstwach, podczas gdy mniej istotne są odrzucane, co drastycznie zmniejsza obliczeniowe koszty uwagi.
Wartość innowacji TokenGate leży w jego uniwersalności i prostocie wdrażania. Badacze testowali moduł na Qwen3-1.7B i Qwen3.5-2B, osiągając przyspieszenia od 1,4x do 11,3x dla time-to-first-token na kontekstach do 128k tokenów, przy czym w testach NIAH na 16k kontekście uzyskali nawet 13x przyspieszenie. Pamięć szczytowa zmniejszyła się o 1,5 do 3,4 razy, co jest kluczowe dla wdrażania na ograniczonym sprzęcie. Kod i wytrenowane checkpointy są dostępne na GitHub-ie na licencji Apache-2.0, czyniąc to praktycznym rozwiązaniem dla praktykujących.
TokenGate rozwiązuje fundamentalny problem architektur Transformer - kwadratowy wzrost kosztów uwagi wraz z długością sekwencji. W tradycyjnych LLM każdy token musi przejść przez każdą warstwę, co staje się prohibitywnie drogie dla długich dokumentów. Dzięki nauczanej przycinacji TokenGate oferuje elastyczną alternatywę dla innych podejść - bardziej elastyczną niż nauczone bezpośrednio pruning, którte tracą dokładność przy wysokich wskaźnikach redukcji, ale nie wymagającą ponownego szkolenia od podstaw jak zmiany architektoniczne. To może być szczególnie cenne dla aplikacji takich jak chatboty z pamięcią, analiza dokumentów czy tłumaczenia długich tekstów.