NVIDIA udostępniła Nemotron-Labs-3-Puzzle-75B-A9B, skompresowaną wersję swojego dużego hybrydowego modelu MoE. Oryginalny Nemotron-3-Super ma 120.7B parametrów całkowitych i 12.8B aktywnych, podczas gdy nowa wersja zmniejsza te liczby do 75.3B i 9.3B. Kluczowym osiągnięciem jest to, że model zachowuje dokładnie tę samą architekturę co jego poprzednik - 88 bloków w konfiguracji 40 Mamba, 40 MoE i 8 attention - ale z mniejszą pojemnością wewnątrz tych bloków.
Wydajność jest imponująca. Na ośmiu kartach B200 przepustowość serwera wzrasta od 1.60x do 2.14x w porównaniu z Super, zarówno przy dopasowanej precyzji NVFP4 jak i dopasowanej przepustowości użytkownika. Jeszcze bardziej zauważalny jest wpływ na konkretne wdrażanie - pojedynczy H100 może teraz obsługiwać 8 równoczesnych żądań 1M-tokenowych zamiast jednego, dzięki zmniejszeniu wagi modelu z 70 GB na 44.5 GB. To oznacza znaczące zmniejszenie wymagań pamięciowych bez proporcjonalnego spadku wydajności.
NEMO team osiągnął kompresję przy użyciu iteracyjnego algorytmu Puzzle, który okazał się lepszy o 0.57 punktu średnio niż jednoetapowe podejście przy tym samym celu kompresji. Koszty są wymieralne głównie na poziomie skomplikowanych zadań - Arena-Hard-V2 spadł o 4.2 punktu, a SWE-Bench o 2.6 - natomiast benchmarki takie jak RULER i AA-LCR prawie się nie zmieniły. Model dostępny jest na Hugging Face w trzech wersjach: BF16, FP8 i NVFP4, co pozwala na elastyczny wybór kompromisu między dokładnością a wydajnością w zależności od potrzeb wdrażania.