NVIDIA opracowała metodę pretrainingu modeli AI w 4-bitowej precyzji numerycznej, co potencjalnie może drastycznie obniżyć koszty treningu ogromnych modeli sztucznej inteligencji. Nowy format danych NVFP4 pozwala na znaczne zmniejszenie wymagań pamięciowych i mocy obliczeniowej bez negatywnego wpływu na jakość uzyskanych modeli. Innowacja jest szczególnie ważna w kontekście gwałtownie rosnących wydatków na trening coraz większych systemów AI, które dziś wciąż wymagają ogromnych zasobów sprzętowych.
Firma przetestowała swoje podejście na hybrydowym modelu Mamba-Transformer o rozmiarze 12 miliardów parametrów, trenując go na 10 bilionach tokenów. Wybór tego konkretnego modelu nie jest przypadkowy - połączenie architektur Mamba i Transformera reprezentuje kierunek, w którym zmierza branża, szukając bardziej efektywnych alternatyw dla czystych transformerów. Fakt, że redukcja do 4-bitów nie pociągnęła za sobą spadku wydajności, sugeruje, że format NVFP4 zoptymalizowany jest precyzyjnie pod kątem tego, co faktycznie potrzebne jest modelom podczas pretrainingu.
Dla branchy stanowi to krok milowy w demokratyzacji treningu dużych modeli językowych. Dziś dostęp do GPU wystarczających do treningu LLM-ów jest praktycznie zarezerwowany dla gigantów takich jak OpenAI czy Meta - czy też firm dysponujących ogromnymi budżetami. Jeśli NVFP4 rzeczywiście pozwoli na redukcję kosztów pamięciowych i energetycznych o znaczące procenty, mogą otworzyć się możliwości dla mniejszych laboratoriów i startupów. NVIDIA, ucząc się na doświadczeniach z poprzednimi niedostatkami chipów i naciskami na dostępność, dostrzegła prawdopodobnie okazję zarówno do wzmocnienia swojej pozycji technologicznej, jak i poprawy wizerunku w oczach szerszej społeczności AI.