Naukowcy z arXiv CS.LG opracowali ujednoliconą metodę analizy knowledge distillation dla dużych modeli językowych (LLMs), która wyjaśnia, dlaczego ta technika jest efektywna. Kluczowym odkryciem jest fakt, że wszystkie metody KD działają poprzez sparsyfikację interakcji - modelom studenckim pozwala się zachować mniejszą liczbę interakcji między zmiennymi wejściowymi (np. słowami), podczas gdy inne interakcje są tłumione do zera.
Badacze zdekomponowali wyjściowe wyniku LLM na sumę wielu interakcji, gdzie każda interakcja reprezentuje nieliniową relację między zestawem zmiennych wejściowych. Na podstawie tej analizy odkryli, że wydajność różnych metod KD zależy od ich zdolności do obsługi złożonych interakcji. Metody, które pozwalają modelom studenckim na osiągnięcie wyższej sparsości złożonych interakcji, zazwyczaj uzyskują lepsze rezultaty.
Motywowani tymi ustaleniami, naukowcy zaproponowali plug-and-play funkcję straty o nazwie Complex Interaction Penalty (CIP), która explicite wymusza sparsyfikację złożonych interakcji podczas procesu destylacji. Rozległy eksperymentalny raport wykazuje, że integracja CIP konsystentnie ulepsza wydajność różnych metod KD na benchmarkach zarówno in-domain, jak i out-of-distribution, stanowiąc praktyczną aplikację ich teoretycznych odkryć.