NVIDIA udostępniła pełną platformę Run:ai jako oprogramowanie open source na licencji Apache 2.0, co stanowi znaczący krok w kierunku demokratyzacji zarządzania zasobami GPU. Kod źródłowy dostępny jest teraz na GitHubie, a całe rozwiązanie obejmuje panel sterowania, usługi klastra, instalator, interfejs CLI i serwer MCP dla asystentów AI. Monorepo zawiera około 50 usług Go, z możliwością uruchamiania lokalnie na macOS lub Linuksie z symulacją 8 procesorów Tesla-A10, bez potrzeby posiadania fizycznych GPU.
Run:ai to platforma do orkiestracji obciążeń AI i GPU dla Kubernetes, która harmonizuje zadania development, training i inference na współdzielonych klastrach GPU. System działa na bazie Kubernetes, nie zastępując go, a kontrolna płaszczyzna obsługuje submit obciążeń, zarządzanie zasobami i monitoring. Użytkownicy mogą interakcjonować z platformą przez interfejs webowy, CLI, REST API oraz MCP server. Wydanie tego jako open source'u czyni Run:ai częścią platformy NVIDIA DSX AI Factory i daje zespołom możliwość inspekcji, fork'owania i samodzielnego hostowania bez płatnej subskrypcji.
Wydanie community edition ma jednak ograniczenia - brak wsparcia enterprise od NVIDIA, a budowanie lokalnie wymaga 16 GB RAM i 100 GB miejsca na dysku Linux. Z drugiej strony, powiązany Model Streamer pokazał znaczną poprawę wydajności - załadowywał modele 3-6 razy szybciej na 8 maszynach NVIDIA H100 na Azure. Otwarcie kodu Run:ai otwiera możliwości dla szerszej komunity, która może dostosowywać platformę do swoich potrzeb i przyczyniać się do jej rozwoju.