Director to nowy system do rozproszonego serwowania modeli Mixture-of-Experts, który minimalizuje opóźnienia poprzez inteligentne, rzeczywistoczasowe umieszczanie ekspertów na procesorach graficznych. Głównym wyzwaniem w serwowaniu MoE jest optymalizacja rozmieszczenia ekspertów na GPU-ach w sposób, który zmniejsza zarówno opóźnienia komunikacji, jak i obliczeń. Podczas gdy wcześniejsze podejścia opierały się na wzorcach z przeszłych zapytań, Director wprowadza proaktywne przewidywanie przyszłych potrzeb.
System wykorzystuje dwa mechanizmy predykcji: lekki kaskadowy predyktor lub niskobitową skopiowaną replikę modelu do prognozowania wzorców aktywacji ekspertów. Kluczowy jest moduł migracji online, który przeprowadza zmiany umiejscowienia ekspertów bez praktycznie żadnego przestoju, wykonując migracje w fazach intensywnie korzystających z mocy obliczeniowej. W sercu systemu находится optymalizator umiejscowienia oparty na relaksacji, który działa w czasie wielomianowym i osiąga przybliżenie gwarantujące stosunek (1+epsilon).
Eksperymenty pokazują zmniejszenie opóźnień końcu-końcu od 11 do 55 procent w porównaniu z istniejącymi metodami, co ma znaczący wpływ na praktyczną efektywność serwowania dużych modeli AI. Rozwiązanie Director jest szczególnie ważne, ponieważ rozszerza skalę i szybkość obsługi zaawansowanych modeli transformacyjnych w środowiskach produkcyjnych, gdzie czas odpowiedzi ma krytyczne znaczenie.