Zespół badawczy stworzył router oparty na precyzyjnej kalibracji, który decyduje jak rozkładać żądania między instancje GPU w architekturach z rozdzielonym serwowaniem LLM. System szacuje dodatkowy czas ukończenia każdego żądania, biorąc pod uwagę dokładną długość prompta, przewidywaną długość wyjścia, obciążenie cache KV po zaakceptowaniu żądania oraz klasę SLO (Service Level Objective).
Router został przetestowany na ośmiu procesorach NVIDIA A40, każdy z silnikiem vLLM, ze NIXL transferującym cache KV między pulami. Testy odbywały się przy zmierzonym nasyceniu systemu na trzech różnych śladach ruchu (mixed, bursty arrival traces). Skalibrowany router osiągnął najwyższy średni goodput 0.864, przewyższając round robin (0.835), least loaded (0.847) i heurystykę opartą na długości żądania. Metoda wykazała też najniższą wariancję między różnymi śladami ruchu.
Klucze odkrycie: kalibracja sprzętowa ma ogromne znaczenie. Stałe wyprowadzone wyłącznie z dyskretnego symulatora kosztowały system 4.5 punktu goodput i około 40 procent przewagi w latencji ogona, redukując router praktycznie do liczenia kolejek. Korzyści ze skalibrowanego routingu rosną wraz z rozmiarem puli decode i różnorodnością ruchu, ale znikają przy trzech instancjach, gdzie liczy się głównie liczba żądań w kolejkach.