Meituan wydał LongCat-2.0, ogromny otwarty model język z architekturą Mixture-of-Experts, który zawiera 1,6 biliona parametrów całkowitych i aktywuje około 48 miliardów parametrów na każdy token. To następca modelu LongCat-Flash z 560 miliardami parametrów wydanego w 2025 roku. Kluczowe cechy to natywne wspieranie okna kontekstu 1 miliona tokenów oraz całkowity trening i wdrożenie na krajowych superpodach ASIC bez wykorzystania sprzętu Nvidii.
Model został zaprojektowany z myślą o kodowaniu agentowym - zrozumieniu, generacji i wykonaniu kodu w przepływach pracy autonomicznych agentów. Pretrening przebiegał przez ponad 35 bilionów tokenów na przestrzeni milionów godzin akceleratora. Meituan zgłasza, że proces przebiegł stabilnie bez restartów lub nieodwracalnych spadków straty, co jest znaczące biorąc pod uwagę, że trenowanie odbywało się na sprzęcie nienvidii, gdzie dostępne narzędzia są mniej dojrzałe.
Arkitektura łączy cztery innowacyjne rozwiązania mające obniżyć koszty skalowania. Wykorzystuje ekspertów zero-obliczeniowych, którzy przetwarzają proste tokeny (takie jak znaki interpunkcyjne) bez zaangażowania mocy obliczeniowej, podczas gdy tokeny skomplikowane aktywują więcej zdolności ekspertów. Kontroller PID dostosowuje bias ekspertów, aby utrzymać aktywacje w zadanym zakresie, co daje dynamiczne okno aktywacji między 33 a 56 miliardami parametrów zamiast stałych kosztów. Architektura MoE wykorzystuje design ScMoE z shortcutami dla wyższej przepustowości, co razem sprawia, że mimo ogromnej skali model pozostaje efektywny kosztowo.