NVIDIA wydała Nemotron-Labs-3-Puzzle-75B-A9B, skompresowaną wersję swojego hybrydowego modelu MoE Nemotron-3-Super. Model rodzicielski ma 120.7B parametrów łącznie z 12.8B parametrami aktywnymi, zaś nowa kompresja zmniejsza to do 75.3B i 9.3B parametrów aktywnych - redukcja do 62,4 procent rozmiaru. Kluczowym celem był dwukrotny wzrost throughput serwera przy stałej szybkości generowania 100 tokenów na sekundę na użytkownika oraz obsługa 8 równoczesnych requestów o rozmiarze 1M tokenów na jednym GPU H100.
Wydajność wzrostu jest imponująca. Na ośmiu GPU B200 całkowity throughput wzrasta o 1,6x do 2,14x w porównaniu do modelu Super przy porównywalnych warunkach z użyciem NVFP4. Przede wszystkim zmniejszenie wagi modelu z 70 GB do 44,5 GB pozwala na wzrost z 1 do 8 równoczesnych requestów 1M-tokenowych na pojedynczym H100. Zachowana została dokładna hybrydowa architektura macierzysta z 88 blokami: 40 Mamba, 40 MoE i 8 attention, zmiana dotyczy jedynie pojemności wewnątrz tych bloków. Model dostępny jest na Hugging Face w trzech wersjach: BF16, FP8 i NVFP4.
Kompromisy są widoczne na benchmarkach wydajności. Model Puzzle traci przeciętnie 4,2 punktu na Arena-Hard-V2 i 2,6 punktu na SWE-Bench - to rzeczywisty koszt kompresji dla trudnych zadań. Na innych testach jak RULER i AA-LCR spadek jest minimalny. Iteracyjne warianty Puzzle wypadają lepiej niż jednokrokowe podejście, osiągając wyższe wyniki przy tym samym celu kompresji. To uzasadnia potencjalnie droższy proces treningowy dla większej dokładności w warunkach zasobów ograniczonych.