Naukowcy z badań arXiv przedstawili nowatorskie podejście do przycinania sieci neuronowych, które wykorzystuje geometrię różniczkową i metrykę informacji Fishera. Zamiast tradycyjnie usuwać parametry o najmniejszych wartościach, nowa metoda oblicza geodezyjną odległość w przestrzeni modelu - czyli minimalną zmianę, jaka następuje w sieci po usunięciu konkretnego parametru. To pozwala na bardziej precyzyjne wybory, które parametry rzeczywiście można usunąć bez utraty wydajności.
Badania przetestowały metodę na sieciach w pełni połączonych oraz transformerach wizyjnych, używając zbiorów MNIST i CIFAR-10, w całym zakresie kompresji od zera do stu procent i pięciu różnych inicjalizacji losowych. Nowa metoda konsekwentnie wyprzedzała tradycyjne przycinanie po wielkości parametru oraz metody oparte wyłącznie na lokalnej informacji Fishera, zarówno pod względem dokładności, jak i współczynnika korelacji Matthewsa.
Dodatkową zaletą podejścia jest odkrycie naturalnej hierarchii metod przycinania o różnych stopniach złożoności obliczeniowej. Naukowcy znaleźli przybliżenia geodezyjne, które zachowują bliską optymalności wydajność przy znacznie niższych kosztach obliczeniowych. To oznacza praktyczną użyteczność metody - można wybierać między najlepszymi wynikami a szybszym procesem przycinania w zależności od potrzeb.