Naukowcy z arXiv zbadali problem optymalnego rozmieszczenia KV cache - pamięci przechowującej stany sesji dialogowych - między warstwami pamięci: GPU HBM (szybka pamięć karty graficznej), CPU DRAM i dyskami SSD. Problem nabiera znaczenia w obliczu rosnących wymagań systemów obsługujących długie konwersacje, pętle agentów i zapytania do dokumentów.
Autorzy stworzyli symulator dyskretnych zdarzeń i porównali cztery strategie rozmieszczenia bloku danych: recency (przechowywanie ostatnio używanych), reuse frequency (najczęściej używanych), predicted reuse (przewidywane użycie) oraz EWMA predictor z prefetchingiem. Testowali je na trzech typach obciążeń: chat, agent loops i document question answering. Kalibracja symulatora opierała się na modelu losowego lasu przewidującym czas wykonania. Wyniki są imponujące: prawidłowy tiering pamięci zwiększa liczbę obsługiwanych jednoczesnych sesji na GPU 73 razy i zmniejsza koszt operacyjny na sesję o 62 procent.
Jednak najciekawsze odkrycie dotyczy samego wpływu strategii. Naukowcy stwierdzili, że główne korzyści pochodzą z samej hierarchii pojemności (1 plus 8 plus 64), a nie z konkretnej polityki rozmieszczenia danych. W ich konfiguracji decoding przy batch size jeden jest ograniczony mocą obliczeniową, więc rozmieszczenie cache wpływa przede wszystkim na ruch migracji przez PCIe i czas do pierwszego tokena. Dla chatów strategia recency generuje 2,3 razy mniej ruchu migracji niż reuse frequency, ale dla agentów i document QA lepiej sprawdza się reuse frequency. Zaskakujące: istniejąca metoda predicted reuse okazała się bajt-identyczna z recency, czyniąc jej rekomendacje dla agentów de facto strategią recency.