Moonshot AI wydała Kimi K3, pierwszy otwarty model o rozmiarze 2,8 biliona parametrów, który łączy zdolności kodowania z przetwarzaniem ultralong kontekstów miliona tokenów. Model zbudowany na architekturze Mixture-of-Experts stanowi skok w rozmiarze dla otwartych modeli - przez dziewięć z ostatnich dwunastu miesięcy modele Kimi wyznaczały górną granicę wielkości dostępnych publicznie rozwiązań.
Kluczem do architektury K3 są dwie innowacje. Kimi Delta Attention to hybrydowy mechanizm attention liniowy, który przyspiesza dekodowanie do 6,3 raza w kontekstach miliona tokenów - kluczowe dla praktycznego wykorzystania w długich zadaniach kodowania. Attention Residuals działa na osi głębokości modelu, selektywnie pobierając reprezentacje zamiast je równomiernie akumulować, co daje około 25 procent wyższą efektywność treningu przy dodatkowym koszcie poniżej 2 procent. Model aktywuje zaledwie 16 z 896 expertów w architekturze Stable LatentMoE, co utrzymuje sparsity na praktycznym poziomie.
Moonshot szczerze mówi o pozycji K3 - choć model konsekwentnie prześciga inne testowane rozwiązania otwarte, jego ogólna wydajność pozostaje poniżej najbardziej zaawansowanych modeli proprietary. Mimo tego, wydanie pierwszego otwartego modelu 3-bilionowego reprezentuje znaczący postęp dla ekosystemu otwartych modeli i potwierdza zdolność Moonshoota do skalowania zaawansowanych architektur.