Zespół badawczy opracował nowatorską metodę transferu wiedzy pomiędzy modelami językowymi o różnych rozmiarach, która nie wymaga dodatkowego treningu. Zamiast tego wykorzystuje aktywacje w dużym modelu (donorze) do wskazania, które komponenty są najistotniejsze i powinny zostać przekazane mniejszemu modelowi (recipientowi). Podejście nosi nazwę Activation-Prune-Merge (APM) i działa poprzez analizę zadań, wybór kluczowych warstw, wymiarów ukrytych, głowic atencji i neuronów MLP, a następnie ich przystosowanie i wstrzyknięcie do mniejszej sieci z bardzo małym współczynnikiem mieszania.
Klucza obserwacja stojąca za metodą to fakt, że obcięcie dużego modelu do mniejszej architektury i dodanie go z minimalną wagą już poprawia wydajność mniejszego modelu. To oznacza, że nie trzeba starannie wyrównywać neuronów semantycznie - wystarczy wybrać najbardziej funkcjonalne komponenty. Autorzy testowali APM na 16 benchmarkach obejmujących rozumowanie, matematykę, generowanie kodu, następowanie instrukcji i klasyfikację. Model 3B ulepszył średnią dokładność z 55,5% do 60,6%, a poszczególne zadania pokazały spektakularne zyski: RTE skoczyło z 64,3% do 82,3%, QNLI z 52,3% do 65,7%, a BoolQ z 70,8% do 79,2%.
Metoda ma istotne znaczenie dla praktycznego zastosowania dużych modeli, gdzie koszt obliczeniowy stanowi barierę. Pozwala ulepszać mniejsze sieci przy minimalnym narzucie obliczeniowym, bez konieczności dostępu do danych treningowych czy etapu fine-tuningu. Dalsze analizy sugerują, że sekwencyjne wieloetapowe fuzje mogą jeszcze bardziej poprawić rezultaty, otwierając perspektywę na efektywne zestawianie zdolności wielu modeli.