Moonshot AI opublikowała MoonEP, bibliotekę komunikacyjną do treningu Mixture-of-Experts w architekturze rozproszonej, jako część otwarcia modelu Kimi K3. Biblioteka dostępna jest na licencji MIT i działa obok dwóch innych infrastrukturalnych projektów: FlashKDA i AgentEnv. MoonEP stanowi jeden z kluczowych elementów ulepszenia modelu K3, który osiągnął 2,5-krotnie wyższą efektywność skalowania w porównaniu do konkurencyjnych rozwiązań.
Problemat, który rozwiązuje MoonEP, dotyczy fundamentalnego wyzwania w expert parallelism - rozsyłania tokenów do specjalizowanych ekspertów rozlokowanych na różnych węzłach obliczeniowych. W praktyce routery nie rozdzielają obciążenia równomiernie. Niektórzy eksperci otrzymują znacznie więcej tokenów niż inni, co tworzy nierównowagę mierzoną metryką maxvio. Ta nierównowaga ma strukturalne konsekwencje: szybkość iteracji ustala najwolniejszy węzeł, a dynamicznie zmieniające się liczby tokenów powodują fragmentację pamięci GPU i wymuszają synchronizację na poziomie gospodarza.
MoonEP rozwiązuje ten problem poprzez innowacyjne podejście do redundantnych ekspertów dynamicznych, które pozwala na bardziej efektywne wykorzystanie możliwości obliczeniowych. To szczególnie ważne dla bardzo dużych modeli jak Kimi K3 z 2,8 bilionami parametrów i oknem kontekstu 1 miliona tokenów. Udostępnienie kodu jako open source umożliwia innym zespołom badawczym i organizacjom zastosowanie podobnych technik optymalizacji w swoich trwających pracach nad modelami mixture-of-experts.