NVIDIA zaprezentowała Star Elastic, technikę przechowywania trzech modeli rozumowania o rozmiarach 30B, 23B i 12B w jednym checkpoincie bez konieczności ponownego trenowania. Innowacja polega na tzw. zero-shot slicing, czyli możliwości dynamicznego zmniejszania lub powiększania modelu w zależności od dostępnych zasobów komputacyjnych. Podejście to stanowi istotny przełom w optymalizacji wdrażania rozwiązań AI, gdyż rozwiązuje jeden z kluczowych problemów branży - konieczność utrzymywania oddzielnych wersji modeli dla różnych sprzętu i budżetów obliczeniowych.
Tradycyjnie każdy rozmiar modelu wymaga osobnego trenowania i przechowywania, co generuje ogromne koszty pamięciowe i infrastrukturalne. Star Elastic zmienia tę ekonomikę poprzez umożliwienie elastycznego skalowania w obrębie jednego checkpointu. Oznacza to, że organizacja może uruchomić ten sam model na smartfonie o ograniczonych zasobach albo na serwerze z pełną mocą obliczeniową, dostosowując rozmiar i wydajność do rzeczywistych potrzeb bez utraty precyzji lub wydajności. Rozwiązanie ma szczególne znaczenie dla企業 wdrażających AI na urządzeniach edge'owych oraz dla startupów mających ograniczone budżety na infrastrukturę.
Technologia NVIDII otwiera nowe możliwości dla demokratyzacji AI, czyniąc zaawansowane modele rozumowania dostępnymi dla szerszego grona wdrażających. Zamiast inwestować w utrzymywanie osobnych pipeline'ów dla każdej wersji modelu, zespoły mogą pracować z jednym elastycznym checkpointem. To szczególnie ważne w kontekście rosnącej złożoności modeli i rosnących kosztów obliczeniowych, które stanowią barierę dla wielu mniejszych graczy na rynku.