Naukowcy zaproponowali MoEZip, nowatorską metodę kompresji pamięci KV cache dedykowaną dla modeli Mixture-of-Experts. Problem, który rozwiązują, jest specyficzny dla architektur MoE: gdy kompresja usuwa dane z pamięci podręcznej, może to zmienić, które eksperci zostaną wybranie podczas generowania odpowiedzi, co degraduje jakość wyników. Metoda zastosowana w MoEZip wykorzystuje macierz informacji Fishera rozkładów routingu jako nowatorski wskaźnik do oceny wrażliwości wyboru ekspertów na perturbacje.
MoEZip łączy ten wskaźnik z wagami atencji, tworząc scoring uwzględniający routing - czyli świadomy sposób decydowania, które konteksty są ważne do zachowania. Dodatkowo zespół proponuje komplementarny system scoringu, który integruje metody ewakcji dla architektur zarówno gęstych, jak i rzadkich MoE, stanowiąc holistyczne rozwiązanie problemu kompresji.
Wyniki eksperymentów są imponujące: przy agresywnej kompresji pamięci (zachowaniu zaledwie 10 procent danych), MoEZip przebija poprzednie metody state-of-the-art o 24 i 20 punktów średnio na benchmarkach LongBench i RULER, co odpowiada wzrostom wynoszącym 2,3-4,9 raza. To oznacza, że można drastycznie zmniejszyć zużycie pamięci w długokontekstowych wnioskach, co ma znaczenie praktyczne dla wdrażania dużych modeli MoE w środowiskach z ograniczoną ilością zasobów.