Naukowcy opracowali metodę kompresji modeli Transformer o nazwie AutoCompress, która automatycznie identyfikuje krytyczne warstwy sieci i chroni je przed redukcją, jednocześnie agresywnie zmniejszając pozostałe części modelu. Podejście to rozwiązuje fundamentalny problem kompresji transformerów - nie wszystkie warstwy są równie ważne dla ostatecznej wydajności modelu, a ślepe zmniejszanie wszystkich parametrów jednakowo prowadzi do drastycznego spadku jakości. AutoCompress pozwala zaoszczędzić znaczną część zasobów obliczeniowych, otrzymując modele zdecydowanie mniejsze, ale nadal bardzo wydajne.
Transformery stanowią serce współczesnego sztucznej inteligencji, od asystentów conversacyjnych aż po modele wizyjne, jednak ich rozmiar jest ogromnym problemem. Duże modele językowe mogą liczyć dziesiątki lub setki miliardów parametrów, co czyni je niepraktycznymi do uruchomienia na urządzeniach brzegowych czy w celu ograniczenia kosztów obliczeniowych. AutoCompress rozwiązuje ten problem poprzez warstwową analizę wichtości - badacze zbadali, jak różne warstwy sieci przyczyniają się do ostatecznych predykcji i odkryli, że niektóre warstwy są krytyczne dla zachowania wydajności, podczas gdy inne można zmniejszyć znacznie bardziej agresywnie bez utraty jakości.
Praktyczne implikacje tej metody są rozległe. Rozwój rozwiązań takich jak AutoCompress otwiera drogę do wdrażania zaawansowanych modeli AI na telefonach, tabletach i innych urządzeniach z ograniczonymi zasobami, a także do redukcji zużycia energii w ogromnych centrach danych obsługujących aplikacje oparte na AI. To szczególnie istotne w dobie rosnących obaw o wpływ sztucznej inteligencji na środowisko i koszty operacyjne przedsiębiorstw. Takie podejścia mogą przyspieszyć demokratyzację dostępu do potężnych modeli AI dla szerszej gamy aplikacji i użytkowników.