Ablacja, wnioskowanie statystyczne i walidacja kompresji KV-cache

Nowe badanie systematycznie ocenia podejścia do kompresji KV-cache w dużych modelach językowych poprzez porównanie schematów Turbo-Quant i SpectralQuant, w tym rotacji WHT z kwantyzacją Beta Lloyd-Max i QJL. Naukowcy zastosowali solidną metodologię statystyczną do walidacji, która pozwala na rozdzielenie rzeczywistych różnic między różnymi kodami od szumu implementacyjnego.

Głównym odkryciem jest to, że metody oparte na rozkładzie widmowym i wektorach własnych wykazują znaczną wrażliwość na charakter danych. Gdy dane zawierają rozkład o ciężkich ogonach, covariance-based metody ulegają instabilności i słabą wydajności. W przeciwieństwie do tego, w bardziej strukturyzowanych reżimach danych - typowych dla kompresji KV-cache - te same metody osiągają doskonałe rezultaty. To sugeruje, że dobór metody kompresji powinien być dostosowany do charakterystyki danych wejściowych.

Ważnym wnioskiem jest także to, że tzw. wymiar semantyczny (d_eff) nie odzwierciedla rzeczywistej rangi danych, ale raczej adaptuje się do dostępnego budżetu kalibracji. Ma to implikacje praktyczne dla optymalizacji architektur transformerów - inżynierowie powinni dynamicznie dostosowywać parametry kompresji zamiast polegać na statycznych założeniach o wymiarowości danych.