Moonshot AI ujawnił 16 lipca model Kimi K3 z rekordową liczbą 2,8 biliona parametrów, co czyni go największym otwartym modelem AI kiedykolwiek wydanym. Poprzedni lider, DeepSeek V4 Pro, miał 1,6 biliona parametrów - K3 przeskakuje go zdecydowanie. Model oferuje również kontekst 1 miliona tokenów i natywne możliwości multimodalne, co pozycjonuje go jako najbardziej zaawansowany otwarty system dostępny dla chińskiego ekosystemu AI.
Dotychczas założono, że taki rozmiar oznacza obejście amerykańskich restrykcji na dostęp do zasobów obliczeniowych. Jednak Moonshot podszedł do problemu bardziej sophisticatedly. Zamiast całkowicie eliminować ograniczenia, inżynier przesunęli je, zamieniając wymagania obliczeniowe na wymagania pamięciowe. Ta wymiana zachodzi niemal w każdej warstwie architektury K3. Kimi Delta Attention umożliwia na przykład przyspieszenie dekodowania nawet 6,3 raza w kontekstach milijonowych, a Attention Residuals podają wzrost efektywności treningowej o około 25 procent przy zaledwie 2 procentach dodatkowych kosztów.
To rozróżnienie między pamięcią a mocą obliczeniową jest kluczowe dla zrozumienia strategii Moonshoota. Te dwa ograniczenia nie są wymienne i nie są równomiernie dostępne dla chińskiego laboratorium. Podczas gdy dostęp do chipów GPU ze świata zachodu jest ograniczony, pamięć i możliwości magazynowania pozostają bardziej dostępne. Kimi K3 reprezentuje pragmatyczne rozwiązanie, które pracuje w ramach obecnych ograniczeń geopolitycznych, jednocześnie osiągając skalę i możliwości konkurencyjne z zachodnimi modelami.