Naukowcy z pracy arXiv:2607.20427 wykazali, że routing w architekturach Mixture-of-Experts postępuje zgodnie z logiką kodowania Huffmana, gdzie zasoby ekspertów są alokowane proporcjonalnie do częstości operacji. Wprowadzili oni Prawo Częstości-Różnorodności, które wyjaśnia, jak zaawansowane modele takie jak Phi-3.5-MoE czy Gemma-4-27B-A4B spontanicznie działają jak silniki teoretyczne, przydzielając rzadkie, skoncentrowane grupy ekspertów do przetwarzania zwykłych tokenów, a jednocześnie zaangażując duże, zróżnicowane komitety dla złożonych, rzadkich zadań w łańcuchach myślenia.
Analiza ujawniła jednak krytyczną lukę: model Qwen3.5-35B-A3B wykazuje nadmierną redundancję funkcjonalną, gdy efektywna sparsość spadnie poniżej pewnego progu. Problem wynika z load-balancingu, który maskuje naturalną efektywność Huffmana. Zespół badawczy zaproponował Subset Difference Pruning - chirurgiczną metodę eliminacji zduplikowanych funkcjonalności - która zamiast obniżać zdolności modelowania, uwolnia ukryty potencjał efektywności poprzez zmuszenie logiki do uformowania się w bardziej zwarte, gęste ścieżki.
Wnioskami z badań jest postulat, aby nowe generacje MoE porzuciły sztucznie narzucony load-balancing na rzecz optymalizacji zgodnej z Minimalną Długością Opisu (MDL). Oznacza to przydzielanie krótszych kodów routingu dla informacji o wysokiej częstości oraz dłuższych, bardziej zróżnicowanych kodów dla informacji rzadkich, co potencjalnie mogłoby dramtycznie zwiększyć efektywność i wydajność przeskalowanych modeli.