Naukowcy opracowali LKV - metodę, która uczy się, które tokeny warto przechowywać w pamięci cache'a podczas pracy dużych modeli językowych. Zamiast usuwać informacje losowo lub według sztywnych reguł, system kV cache uczy się inteligentnie decydować, które fragmenty tekstu zachować dla każdej głowicy atencji osobno. To podejście znacznie zmniejsza zapotrzebowanie na pamięć RAM, a jednocześnie utrzymuje jakość generowanych odpowiedzi modelu. Problem, który rozwiązuje LKV, jest fundamentalny dla każdego, kto pracuje z dużymi modelami - z czasem pracy LLM kV cache'a rośnie i zaczyna dominować w zużyciu pamięci, spowalniając inference na zwykłych komputerach.
Tradycyjnie stosowane podejścia są albo zbyt grube rękawice, albo nieprecyzyjne. Некоторые systemy usuwają tokeny po prostu według czasu - załatwią się najstarsze. Inne biorą pod uwagę, ile razy token pojawił się w zapytaniu, ale to również jest zbyt uproszczone. LKV natomiast trenuje model end-to-end, aby nauczył się przewidywać, które tokeny rzeczywiście będą ważne dla przyszłych predykcji, uwzględniając specyficzną pozycję w sieci neuronowej. To oznacza, że każda z 32 czy 64 głowic atencji może mieć inny zestaw "priorytetowych" tokenów.
Konsekwencje praktyczne są znaczące, szczególnie dla wdrażania LLM poza datowymi centrami. Modele takie jak GPT czy Claude mogą działać na słabszych urządzeniach, tabletach czy brzegowych serwerach, jeśli zużycie pamięci spadnie nawet o 30-40 procent. To otwiera drzwi do większej autonomii aplikacji - mniej zależności od chmury, szybsza odpowiedź, niższe koszty. Metoda LKV pokazuje też ogólną ścieżkę w AI - zamiast hardkodera reguł, nauczmy model, co powinien robić. To podejście może znaleźć zastosowanie w wielu innych wąskich gardzieach optymalizacji sieci neuronowych.