Zespół badaczy opublikował analizę wpływu kwantyzacji na routing w modelach Mixture-of-Experts, ujawniając, że 4-bitowa kwantyzacja pamięci KV powoduje przerzuty tras przez neurony bramy sieci - tokeny przekraczają granice decyzyjne i trafiają do innych ekspertów niż pierwotnie zaplanowane. Problem tkwi w nieciągłości działania routerów top-k, które są wrażliwe na numeryczne zaburzenia wprowadzane przez kwantyzację. Autorzy nie proponują jednak nowych rozwiązań, lecz dostarczają narzędzia przyczynowe do analizy tego zjawiska.
Badania wykazały, że na modelu OLMoE-1B-7B przy 4-bitowej kwantyzacji około 31 procent całkowitego uszkodzenia wynika z przerzutów tras (route-mediated fraction - RMF ~ 0,31). Ważnym ustaleniem jest to, że brama routera potrafi wykryć czy przerzut się odbywa z obszarem pod krzywą (AUC) na poziomie 0,772, ale nie może przewidzieć czy ten przerzut będzie korzystny czy szkodliwy dla dokładności - parametry routera obserwowalne podczas wnioskowania nie są w stanie odróżnić przerzutów pozytywnych od negatywnych.
To odkrycie stanowi fundamentalną barierę dla selektywnej naprawy przerzutów tras, ponieważ nie można je automatycznie filtrować i naprawiać tylko te szkodliwe. Wyniki były replikowane na trzech różnych architekturach i zarejestrowane z góry, co zwiększa wiarygodność ustaleń. Problem pozostaje otwarty - poznanie przyczyny przerzutów jest możliwe, ale określenie czy warto je naprawiać nie jest obecnie wykonalne z dostępnych statystyk routera.