TriRoute łączy trzy dotychczas oddzielnie optymalizowane mechanizmy efektywności modeli językowych: conditional computation przez Mixture-of-Experts, Mixture-of-Depths do pomijania warstw transformera oraz kwantyzację cache'a KV. Kluczowa obserwacja badaczy to fakt, że decyzje te są silnie ze sobą powiązane - token wymagający pełnej atencji często potrzebuje również wyższej precyzji pamięci, niezależnie od tego, który ekspert go przetworzy.
Metoda wykorzystuje lekki kontroler wspólny dla wszystkich trzech wymiarów optymalizacji. Dla każdego tokena na każdej warstwie sieć emituje skoordynowaną politykę: tryb atencji (skip/local/full), rzadki zestaw ekspertów FFN (z null-ekspertem odtwarzającym zachowanie MoD) oraz szerokość bitową cache'a KV. Trening przebiega end-to-end przy użyciu heterogenicznej relaksacji - Gumbel-Softmax ze straight-through estimatorem dla decyzji kategorycznych i load-balanced top-k gatingu dla ekspertów.
Głównym wyzwaniem podczas wspólnego treningu okazała się kaskadowa zapaść routingu, gdzie problemy w optymalizacji jednej osi propagowały się do pozostałych. Autorzy rozwiązali ten problem poprzez per-osi normalizację i stratę świadomą sprzężeń. Lagrangowski constraint budżetowy zamienia średni koszt obliczeń i pamięci w kontrolowalny parametr. Eksperymenty na modelach decoder-only o wielkości od 160M do 1.3B parametrów przy optymalno-obliczeniowych liczbach tokenów wykazują obiecujące rezultaty w redukcji kosztów wnioskowania.