Naukowcy zaproponowali LowRAM, asymetryczną pipeline'ę kompresji cache KV, która rozwiązuje jeden z głównych problemów dekodowania autoregresywnego - rosnącą wraz z długością kontekstu pamięć wymaganą do przechowywania kluczy i wartości. Zamiast tradycyjnych podejść skupiających się na redundancji między tokenami czy warstwami, zespół zidentyfikował nową oś optymalizacji: w ramach każdej głowicy attention wartości są w dużej mierze przewidywalne na podstawie odpowiadających im kluczy.
Metoda łączy dwa główne mechanizmy. Po pierwsze, amortyzacja wartości polega na dopasowaniu lekkiego predyktora per-head w czasie testu, który przechowuje reszty jedynie dla tokenów, które rekonstruuje najgorzej - daje to 4-krotną kompresję wartości niemal bez straty. Predyktor może być inicjalizowany poprzez meta-learning, co znacznie zmniejsza narzut na etapie prefill, lub dopasowywany od zera w scenariuszach wielokrotnego zapytania. Po drugie, kompresja kluczy o niskiej rangorze między warstwami zmniejsza wymiary kluczy bez utraty istotnych informacji.
LowRAM komponuje się z innymi technikami - w połączeniu z kwantyzacją i eksmisją uzyskuje aż 26,9-krotną kompresję przy zachowaniu 94,5 procent wydajności na długich kontekstach. Kluczowym osiągnięciem jest zdolność do rekonstrukcji wybranego podzbioru par KV na każdym kroku dekodowania, co pozwala utrzymać minimalny narzut i osiągnąć do 5-krotnie wyższą przepustowość peak decode w porównaniu z około 4-krotną kompresją. Wyniki pokazują, że traktowanie kluczy i wartości jako strukturalnie odrębnych elementów otwiera możliwość efektywnej, agresywnej i komponowalnej kompresji cache'u.