Naukowcy z arXiv opublikowali KVLearn, system machine learning'owy do inteligentnego zarządzania pamięcią KV-cache w rozproszonych systemach serwowania dużych modeli językowych. Problem polega na tym, że tradycyjne polityki cachowania nie działają w środowiskach, gdzie obliczanie prefill i wykonywanie decode odbywa się na różnych węzłach sieci - błąd cache wiąże się nie tylko z lokalnym przeliczeniem, ale też z transferem sieciowym danych między węzłami.
KVLearn rozwiązuje to poprzez trzy komponenty. Prefix Reuse Predictor szacuje prawdopodobieństwo ponownego użycia bloku KV na podstawie strukturalnych i czasowych cech, bez modyfikacji wag modelu. Cost-Aware Retention Score przetwarza to prawdopodobieństwo na decyzje o przechowywaniu, biorąc pod uwagę koszty przeliczenia, transferu sieciowego i pamięci. Adaptive Threshold Controller dostosuje progi przyjęcia w czasie rzeczywistym na podstawie obserwowanych trafionych i ciśnienia na pamięć.
W eksperymentach na workloadach tekstowych i multimodalnych, включając duże bloki KV pochodzące z obrazów i filmów, KVLearn osiągnął imponujące wyniki. System zmniejszył time-to-first-token o 56 procent wobec braku cache'a, 38 procent wobec standardowego LRU-Pool i 33 procent wobec podejścia Mooncake. Oznacza to potencjał do szybszego serwowania LLM-ów przy efektywniejszym wykorzystaniu zasobów sieciowych i pamięci.