Zespół badaczy z arXiv opublikował pracę o nowej technice trenowania modeli Mixture-of-Experts, która rozwiązuje problem energochłonnych przełączeń między ekspertami podczas inferencji na urządzeniach brzegowych. Problem polega na tym, że choć MoE aktywują tylko część ekspertów na token, różne tokeny często wymagają różnych ekspertów, co powoduje ciągłe transfery wag z wolnego magazynu do szybkiej pamięci - droga operacja na urządzeniach z ograniczeniami.
Proponowana metoda StickyMoE wprowadza różniczkowalną stratę routing consistency, która karze model za nagłe zmiany ekspertów między sąsiednimi tokenami. Dzięki temu router uczy się trzymać tego samego eksperta dla tekstowych fragmentów, które mają podobne znaczenie. Podejście wymaga tylko dodania jednego hiperparametru lambda i żadnych zmian w architekturze sieci - inaczej niż poprzednie rozwiązania oparte na cachowaniu czy fine-tuningu post-hoc. Kluczowa różnica to możliwość współpracy expert representations i decyzji routera od pierwszego kroku trenowania.
Eksperymenty na małych modelach MoE language pokazują, że StickyMoE zmniejsza współczynnik przełączeń ekspertów o do 60% procent przy jednoczesnym spadku perplexity poniżej 4 procent. To oznacza znaczące przyspieszenie inferencji na urządzeniach brzegowych bez poważnej straty na jakości. Badacze dowodzą, że routing temporal locality najefektywniej wdrażać już podczas głównego trenowania, zamiast nakładać poprawki później.