Badacze opracowali nową strategię kompresji dużych modeli językowych, łącząc dwie dotychczas oddzielnie rozpatrywane perspektywy - analizę ważności parametrów neuronowych oraz funkcjonalną równoważność warstw. Zamiast traktować te podejścia osobno, integrują je w jeden wspólny cel optymalizacyjny oparty na dekompozycji wartości osobliwych (SVD).
Przeciwnie do wcześniejszych prac, które rozdzielały poziom kompresji równomiernie na wszystkie warstwy lub używały kosztownych heurystyk przeszukiwania, zespół zaproponował wydajny algorytm do dynamicznej alokacji współczynnika kompresji. Pozwala to zastosować różne stopnie kompresji do różnych części sieci w zależności od ich rzeczywistej ważności dla finalnej wydajności modelu.
Zastosowanie tego podejścia jest istotne, ponieważ biliardy parametrów w współczesnych modelach językowych prowadzą do ogromnych wymagań pamięciowych, uniemożliwiając ich wykorzystanie w środowiskach z ograniczonymi zasobami. Wyniki eksperymentów wskazują, że zaproponowana metoda oferuje istotną poprawę nad dotychczasowymi technikami, otwierając drogi do efektywniejszego wdrażania zaawansowanych modeli AI na urządzeniach brzegowych i systemach o ograniczonej mocy obliczeniowej.