Naukowcy z arXiv odkryli paradoks w destylacji cech dla kompaktowych wielojęzycznych modeli rozpoznawania mowy - technika, która powinna poprawiać wyniki, faktycznie pogorszała wydajność dla języka angielskiego, choć lepiej działała dla innych języków. Problem nie leżał w samej idei destylacji cech, ale w sposobie, w jaki gradienty funkcji strat wpływały na wspólny enkoder modelu.
Analiza wykazała, że gradienty CKA - funkcji mierzącej podobieństwo cech - nakładały się z subprzestrzenią, którą angielski intensywnie wykorzystuje w enkoderze, na poziomie 97.5-99.5% (podczas gdy losowo byłoby to około 81%). Inne proponowane rozwiązania na poziomie funkcji straty nie przyniosły zadowalających rezultatów. Odpowiedź stanowiła metoda CAFE (Confined-Adapter Feature distillation), która nie zmienia samej funkcji straty, lecz kieruje gradienty CKA wyłącznie do adapterów specjalistycznych, które angielski omija. To rozwiązuje konflikt między językami poprzez organizację parametrów modelu zamiast walki na poziomie funkcji.
Na Open ASR Leaderboard CAFE obniżyła średni współczynnik błędu wyrazów z 8.55% do 8.02%, pokonując podejście bazujące tylko na adapterach (8.51%) i czyniąc angielski bardziej stabilnym między checkpointami. Model o 254M parametrach zaledwie o 2 punkty WER ustępuje 600M nauczycielowi i rywalizuje z znacznie większymi systemami na 48 testach w 24 językach. Badania użyły 564 tysięcy godzin danych treningowych i najnowocześniejszych modeli, by zachować praktyczną znaczenie wyników.