Naukowcy z Cornell University i Meta opracowali RaMP, system który automatycznie dobiera najlepsze sposoby przetwarzania danych w modelach Mixture-of-Experts, znacznie przyspieszając ich pracę. Metoda wykorzystuje specjalne megakernele z polimorfizmem zależnym od czasu wykonania - technologia, która w locie obserwuje, jak szybko działają różne implementacje kodu, i wybiera tę, która sprawdzi się najlepiej w danych warunkach sprzętowych. To rozwiązanie dla problemu, który dotyka architektury MoE: modelach, które kierują każde zapytanie do kilku wyspecjalizowanych sieci neuronowych zamiast do jednej ogólnej sieci. Problem w tym, że takie dynamiczne kierowanie danych generuje dużą latencję i marnuje potencjał procesorów.
RaMP zmniejsza opóźnienia i zwiększa przepustowość przetwarzania, co jest szczególnie ważne dla współczesnych dużych modeli językowych działających w produkcji. Zamiast sztywnego wyboru implementacji kerneli - co często nie pasuje do realnych warunków pracy - system stale obserwuje rzeczywistą wydajność i dostosowuje się. To podejście sprawdza się zwłaszcza dla modeli skalowanych na wielu procesorach, gdzie różne części sprzętu mogą mieć inne charakterystyki wydajności.
Wyniki badań pokazują, że podejście RaMP daje wymierne przyspieszenie działania modeli MoE bez konieczności dodatkowych zasobów obliczeniowych. Dla zespołów zajmujących się wdrażaniem dużych modeli AI, zwłaszcza tych opartych na architekturze Mixture-of-Experts, to oznacza szansę na redukcję kosztów infrastruktury i lepszą responsywność systemów w czasie rzeczywistym.