AbridgeKV rozwiązuje fundamentalny problem modeli generujących długie łańcuchy myślowe - rosnącą pamięć KV cache, która staje się wąskim gardłem wydajności. Zamiast po prostu usuwać wpisy z cache (co prowadzi do dłuższych, gorszych wyjść), metoda trenuje model do kompresji własnych wyników. Działa to poprzez specjalne pause tokens - dodatkowe tokeny wejściowe z nauczonymi embedingami, które nie generują wyjścia, ale ich wpisy KV mogą zastępować całe bloki wygenerowanego tekstu.
Trzy kluczowe decyzje projektowe sprawiły, że to zadziałało: wpisy KV pause tokens zajmują pozycje wewnątrz bloku, który zastępują, alokacja pamięci jest dystrybuowana między warstwy zgodnie z zmierzoną wartością ich wpływu, a kompresja operuje na stosunkowo dużych blokach tekstu. W testach na 446 problemach konkurencyjnych z serii AIME, HMMT, AMC i innych, z generowaniem na 32K tokenów, utrzymanie jedynie ćwiartki oryginalnej pamięci cache uzyskało taką samą dokładność i długość wyjścia jak pełny model. Inne metody ewikcji działały znacznie słabiej, a poprzedni kompressor trenowany na tych samych danych stracił aż 10 punktów dokładności.
Praktyczne rezultaty są imponujące - wdrożony w vLLM AbridgeKV daje cache 3,5 raza mniejszy per sekwencję, a nasycony serwer H100 finalizuje problemy 3,2 raza szybciej niż z pełną pamięcią. To otwarcie nowych możliwości dla służbowych modeli rozumowania, gdzie długi kontekst i szybka odpowiedź są krytyczne.