NVIDIA wykazała, jak trzy połączone optymalizacje mogą znacząco przyspieszać wnioskowanie dla modeli mixture-of-experts na komputerze stacjonarnym DGX Spark. Testując model Ling-3.0-flash od Ant Group (124B parametrów, 5,1B aktywnych per token), zespół inżynierów uzyskał wzrost przepustowości dekodowania z 37,81 do 53,89 tokena na sekundę, czyli przyrost o 42,5 procent. Równocześnie zmniejszyła się średnia latencja o 24,5 procent, bez statystycznie znaczących zmian w dokładności - wynik na benchmarku GSM8K pozostał na poziomie 96,82-96,89 procent.
Trzy kluczowe optymalizacje to: nowe jądro obliczeniowe dedykowane architekturze MoE, skwantyzowana do FP8 warstwa wyjściowa oraz wbudowane spekulacyjne dekodowanie. DGX Spark to desktopowy system zbudowany na chipie Grace Blackwell z 128 GB jednolitej pamięci i przepustowością 273 GB/s. Badania NVIDII ujawniają, że wąskim gardłem wydajności jest dostęp do pamięci, a nie moc obliczeniowa - stąd znaczenie efektywnego wykorzystania dostępnego pasma.
Wyniku przydaje wagi fakt, że stanowi proof of concept dla obsługi dużych modeli na sprzęcie konsumenckim. Dotychczas szybkie wnioskowanie dla siecí tej klasy wymagało infrastruktury data center. Jeśli 124-miliardowy model działa sprawnie na biurkowym pudełku, otwiera to nowe możliwości dla deweloperów i startupów, którzy nie mogą sobie pozwolić na kosztowne farmy serwerów. Specjaliści do machine learningu będą mieć dostęp do zaawansowanych narzędzi na własnych maszynach.