Routing modeli - proces, w którym system automatycznie decyduje, który model wybrać do obsługi konkretnego zapytania - wydaje się na papierze stosunkowo prosty. W rzeczywistości jednak to jedno z najtrudniejszych wyzwań w praktycznym wdrażaniu systemów wielomodelowych.
Pierwszy problem to złożoność infrastrukturalna. Kiedy dysponujesz kilkoma różnymi modelami - różniącymi się rozmiarem, szybkością i specjalizacją - musisz rozwiązać wiele kwestii technicznych: jak równoważyć obciążenie między nimi, w jaki sposób cacheować odpowiedzi, jak radzić sobie z sytuacjami, gdy jeden model jest niedostępny. Prostych heurystyk tutaj nie wystarczy, a każda złych decyzja routingu obciąża system marnotrawianiem zasobów.
Drugim aspektem jest ustalenie metryk decyzyjnych. Na ile wpływa koszt - czas odpowiedzi, zużycie pamięci GPU - wobec jakości odpowiedzi? Jak ocenić, czy routing zadziałał prawidłowo? Tutaj pojawia się paradoks: aby mieć dobrą metrykę routingu, potrzebujesz mieć już wiele etykiet treningowych pokazujących, który model jest najlepszy dla każdego typu pytania. To wymaga znaczącej pracy badawczej i ewaluacyjnej, co z kolei opóźnia deployment systemu.