Cache pamięci klucz-wartość stanowi główne wąskie gardło wydajności przy inferencji LLM na długich kontekstach. Dotychczasowe beztrenigowe metody miały zasadnicze wady: metody selekcji tokenów (SnapKV, Ada-KV) usuwały tokeny z niskim wynikiem ważności, ale ta decyzja była nieodwracalna i prowadziła do gwałtownego spadku dokładności o 11-15 punktów gdy sygnał ważności się pogarszał. Alternatywnie, metody uniform low-rank kompresowały wszystkie tokeny jednakowo, marnując budżet na mniej ważne elementy. VarRate rozwiązuje obie te wady poprzez przydzielanie każdemu tokenowi innego poziomu kompresji na podstawie jego znaczenia dla konkretnego zapytania.
Novelka w podejściu VarRate polega na tym, że żaden token nie jest porzucany - wszystkie zachowują co najmniej minimalną reprezentację. To kluczowa różnica, bo pozwala uniknąć katastrofalnych spadków wydajności. Na benchmarku LongBench obejmującym 16 zadań, metoda działa z ledwie 0.8 punktu strat od pełnej modelu przy zaledwie 20% oryginalnego rozmiaru cache na Llama-3.1-8B i Qwen2.5-7B. VarRate jest pierwszą metodą osiągającą adaptacyjny przydział rangi bez konieczności trenowania.
Znaczące znaczenie ma również to, że VarRate radzi sobie osiem razy lepiej niż KVzip pod względem narzutu obliczeniowego w fazie prefill, przy podobnej lub lepszej dokładności. Stanowi to praktyczne rozwiązanie dla wdrażania LLM na urządzeniach z ograniczoną pamięcią, szczególnie w scenariuszach gdzie zapytania są przetwarzane bez uprzedniej wiedzy o ich naturze.