Naukowcy z projektu LLM-Pruning zaproponowali nowe podejście do kompresji dużych modeli językowych, które łączy dwa mechanizmy zmniejszania rozmiarów: statyczne pruning parametrów z dynamicznym pomijaniem warstw na poziomie tokenów. Zamiast agresywnie zmniejszać model tylko w jeden sposób, metoda rozprowadza obciążenie kompresji na dwa wymiary, co pozwala niezależnie kontrolować sparsity parametrów i sparsity obliczeń.
Framework wykorzystuje najpierw low-rank approximation i channel pruning do uzyskania statycznie skompresowanej sieci neuronowej, a następnie dodaje lekkie routery umożliwiające dynamiczne omijanie warstw dla każdego tokenu. To rozwiązanie daje bardziej precyzyjną kontrolę nad którą częścią modelu się zmniejsza. W testach na benchmarkach zrozumienia i modelowania języka compound sparsity konsekwentnie przewyższała pojedyncze mechanizmy kompresji przy tej samej całkowitej sparsity, znacznie opóźniając punkt degradacji wydajności.
Analiza ujawniła, że interferencja między pruningiem parametrów a dynamicznym skakaniem warstw jest rzeczywista - każdy wymiar wpływa na drugi. Badacze znaleźli, że prawie zrównoważone rozłożenie budżetu sparsity między oba mechanizmy okazało się najskuteczniejsze. Wyniki wskazują, że compound compression stanowi praktyczną drogę poprawy kompresji LLM, choć istnieje szersze ograniczenie wynikające z interferencji między wymiarami sparsity, które ostatecznie uniemożliwia dalsze zmniejszanie modelu bez znacznych strat wydajności.