Naukowcy z arXiv przeanalizowali dokładnie, gdzie dochodzi do utraty wydajności w modelach MoE gdy zmniejsza się liczbę routowanych ekspertów podczas prefill. Przy redukcji do połowy ekspertów większość spadku F1 w zadaniach pytań dotyczy formy odpowiedzi - model wciąż znajduje prawidłową odpowiedź, ale przestaje ją podawać. Kluczowe odkrycie: zaledwie kilka tokenów na krytycznych pozycjach odpowiada za około połowę lub więcej całkowitej straty. W Qwen3-30B-A3B to dwa tokeny szablonu czatu bezpośrednio przed odpowiedzią, a w DeepSeek-V2-Lite pierwsze 8-32 tokenów, gdzie znajduje się instrukcja.
Badacze przeprowadzili interwencje na poziomie tokenów, warstw i ścieżek attention na czterech rodzinach MoE. Zaskakujące jest, że redukcja zmienia atrybut uwagi pierwszego tokenu, normę i największą aktywację o mniej niż 4%. Przywrócenie super-ekspertów lub masywnych aktywacji odzyskuje co najwyżej około ćwierć straty - znacznie poniżej efektu utrzymania pełnych ekspertów na pozycjach wrażliwych.
Na rzeczywistych promptach pracowicy pokazali, że umieszczenie zaledwie 4% tokenów na pełnych ekspertach w interfejsie zadania utrzymuje F1 w obrębie jednego punktu od niemodyfikowanego modelu. Losowe rozmieszczenie tych tokenów w dokumentach daje gorszy wynik o około 3 punkty. Kluczowa obserwacja: wrażliwe tokeny zawsze znajdują się na końcach promptu, co sugeruje, że interfejs zadania - początek i koniec interakcji - jest najbardziej krytycznym miejscem do optymalizacji przy redukcji ekspertów.