Benchmark optymalizacji KV-Cache dla długocontextowych modeli językowych

Naukowcy opublikowali pierwszy kompleksowy benchmark porównujący różne techniki kompresji KV-cache dla długocontextowych modeli językowych, ponieważ dotychczasowe badania były trudne do porównania ze względu na różne modele, zadania i stosy serwujące.

Benchmark objął cztery reprezentatywne metody optymalizacji - KIVI, TurboQuant, SnapKV i CaM - testując je na dwóch popularnych modelach: Llama-3.1-8B-Instruct i Mistral-7B-Instruct-v0.3. Każda technika była oceniana na czterech typach zadań: multi-dokumentowe QA, jednodokumentowe QA, few-shot learning oraz streszczanie. Badanie mierzyło jakość wyjścia, przepustowość, czas do pierwszego tokenu oraz rzeczywisty stosunek kompresji w różnych zakresach długości kontekstu.

Wyniki pokazały zaskakujące wnioski: KIVI4 oferuje najbardziej stabilną jakość na obu modelach, SnapKV dostarcza najlepszą przepustowość dla długocontextowych zadań, a CaM daje znaczące zyski w wybranych zadaniach QA, ale wykazuje dużą wrażliwość na typ obciążenia. Najważniejsze odkrycie to fakt, że sam stosunek kompresji jest słabym predyktorem wydajności końcowej systemu. Te wyniki sugerują, że zamiast szukać uniwersalnej techniki kompresji, operatorzy powinni wybierać rozwiązania dostosowane do konkretnych typów zadań i obciążeń pracą.