Naukowcy przeanalizowali sześć opublikowanych metod kompresji KV-cache w wariancie query-agnostic, gdzie kompresja następuje przed zapoznaniem się z pytaniem użytkownika - czyli w realnym scenariuszu biznesowym. Przeprowadzili 144,300 ewaluacji na RULER-8192 oraz 40,800 na LongBench, testując na trzech otwartych modelach o rozmiarze 7-9B parametrów.
Główne odkrycie: ranking metod kompresji zmienia się dramatycznie w zależności od tego, czy algorytm "widzi" pytanie podczas wyboru tokenów. Gdy metody pracują query-agnostic, spośród pięciu audytowanych metod korzystających ze wspólnego backendowego systemu attention, jedynie KeyDiff konsekwentnie pokonuje najprostsza heurystykę (31 z 36 testów). SnapKV, najbardziej rozpowszechniona metoda w praktyce, przegrywa średnio z banalnym podejściem "zachowaj początek i ostatnie okno" osiągając wynik gorszy o 0,066 punktu.
Rozpiętość wydajności między dwoma protokołami (query-aware vs query-agnostic) koreluje z tym, jak wyraźnie pytanie widnieje w kodzie algorytmu. SnapKV traci 0,198 punktu, bo pytanie znajduje się w jego 64-tokenowym oknie obserwacji, podczas gdy KeyDiff traci zaledwie 0,011 punktu, ponieważ w ogóle nie korzysta z termów zapytania przy scoringu. Badanie każe poddać w wątpliwość przydatność wielu publikowanych metod kompresji w warunkach rzeczywistego użytku, gdzie pytania nie są znane w momencie decyzji kompresyjnych.