NVIDIA AI opublikowała Star Elastic — innowacyjną metodę umożliwiającą przechowywanie trzech różnych modeli rozumowania (30B, 23B i 12B) w jednym checkpoincie bez konieczności retrainingu. Technologia zero-shot slicing pozwala na dynamiczne zmniejszanie lub zwiększanie rozmiaru modelu w zależności od wymagań komputacyjnych, nie tracąc wydajności. To rozwiązanie ma znaczący wpływ na efektywność wdrażania modeli AI, zmniejszając koszty pamięci i pozwalając dostosowywać zasoby do różnych urządzeń.
Badania
MarkTechPost