Naukowcy z Tsinghua i Chińskiego Uniwersytetu Hongkongu (CUHK) udostępnili AKV, system serving dedykowany do inżynierii pamięci KV cache w agentach LLM. Zamiast tradycyjnego podejścia polegającego na streszczaniu starych informacji, AKV pozwala agentom selektywnie usuwać wybrane wpisy z cache'u i ponownie wykorzystywać pozostałe, co prowadzi do znaczącej redukcji kosztów obliczeniowych.
System został przetestowany na trzech modelach: GPT-OSS-120B (z 5,1B aktywnymi parametrami), MiniMax-M2.7 (230B całkowicie, 10B aktywnie) oraz MiroThinker-1.7-Mini (30B total, 3B aktywnie). Wyniki są imponujące - średni koszt spadł o 27,7%, a średni wynik zadań wzrósł o 1,7 punktu w stosunku do metody threshold summarization. Najbardziej spektakularny był wynik na SWE-bench Verified z modelom GPT-OSS-120B, gdzie koszt per zadanie spadł z 20,0 centów do 9,7 centów, a wynik wzrósł z 40,0 do 43,2.
AKV wprowadza koncepcję cache engineering, która różni się od dotychczasowej context engineering. Zamiast obcinać lub streszczać historię tekstową (co unieważnia wszystkie późniejsze stany KV i wymaga ponownego prepełnienia), AKV pozostawia tekst niezmieniony i manipuluje wyłącznie wpisami cache'u. Podejście to pozwala zachować szczegóły z wcześniejszych faz rozmowy, podczas gdy tradycyjne streszczanie agresywnie redukuje informacje z faz pośrednich. System dostępny jest jako biblioteka służąca na GPU NVIDIA i działa na SGLang. Kod jest udostępniony na licencji Apache 2.0.