Naukowcy przedstawili nową metodę routingu dla modeli Mixture-of-Experts (MoE) o nazwie Hierarchical Copula-Gumbel-Top-K, która pozwala kontrolować zależności między decyzjami routingu dla różnych tokenów przy jednoczesnym zachowaniu rozkładu każdego indywidualnego tokena. Problem dotyczy tego, jakie wspólne rozkłady wyboru expertów dla poszczególnych tokenów można osiągnąć, gdy każdy token musi zachować dokładnie określone prawo routingu.
Rozwiązanie wykorzystuje dwa mehanizmy. W obrębie grupy powiązanych tokenów wymieniana kopuła Gaussowska pozytywnie koreluje perturbacje Gumbela na każdej współrzędnej eksperta, co zwiększa wewnątrzgrupową spójność zbioru expertów. Między rozłącznymi parami grup dostrajalna konstrukcja antitetyczna wprowadza regulowaną ujemną zależność. Kluczowy wkład to dowód, że obie operacje zachowują rozkład Top-K dla każdego tokena, wagi mieszania i probabilistykę włączenia identyczną jak przy niezależnym routingu.
Charakteryzując wynikowy kompromis, autorzy pokazują, że pozytywne sprzężenie wewnątrzgrupowe może jedynie zwiększać wariancję rzeczywistych obciążeń expertów w stosunku do routingu niezależnego, podczas gdy ujemna zależność między grupami może je redukować. Tym samym koherencja i dyspersja obciążenia są kontrolowane dwoma komplementarnymi mechanizmami zależności, pozostając w ramach ograniczenia niezmienniczości. To otwiera nowe możliwości optymalizacji wydajności modeli MoE poprzez precyzyjne zarządzanie rozkładem pracy między expertami bez poświęcania gwarancji rozkładu routingu.