NVIDIA oficjalnie wydała Nemotron-Labs-3-Puzzle-75B-A9B, skompresowaną wersję swojego dużego hybrydowego modelu MoE o nazwie Nemotron-3-Super. Zadaniem było dostarczenie modelu, który oferuje dwukrotnie wyższą przepustowość serwera przy utrzymaniu jakości. Model będący rodzicem miał 120.7B parametrów całkowitych i 12.8B parametrów aktywnych. Nowa, skompresowana wersja redukuje to do 75.3B parametrów całkowitych i 9.3B aktywnych - zmniejszenie o około 37.7 procent.
Arcitektura hybrydowa zachowuje dokładnie tę samą strukturę bloków co model Super: 88 bloków składających się z 40 bloków Mamba, 40 bloków MoE i 8 bloków attention. Zmiana dotyczy wyłącznie pojemności wewnątrz tych bloków, co pozwala na zachowanie wydajności przy zmniejszonej skali. Model dostępny jest w trzech wariantach na Hugging Face: BF16, FP8 i NVFP4. Na 8 akceleratorach B200 przepustowość całkowita wzrasta o 1.60x do 2.14x w porównaniu do Super, w zależności od wariantu kwantyzacji.
Najistotniejszym osiągnięciem jest możliwość obsługi 8 równoczesnych żądań 1M-tokenowych na pojedynczym H100, w porównaniu do zaledwie jednego na oryginalnym modelu. Zmniejszenie wagi modelu z 70 GB do 44.5 GB drastycznie redukuje wymogi pamięciowe. Kompresja wpłynęła głównie na benchmarki Arena-Hard-V2 spadkiem 4.2 punktu i SWE-Bench spadkiem 2.6 punktu, podczas gdy na innymi testami wpływ był minimalny.