NVIDIA ogłosiła udostępnienie Nemotron 3.5 Lightning, 30-miliardowego modelu mixture-of-experts zaprojektowanego dla agentów AI, wraz z biblioteką NeMo Switchyard do inteligentnego routowania żądań. Nemotron 3.5 Lightning wyróżnia się najwyższą wydajnością w swojej klasie dla długotrwałych obciążeń agentów autonomicznych, stanowiąc rozwinięcie wcześniejszych modeli Nemotron 3 Nano. Jest to odpowiedź na przesunięcie się branży od chatbotów w kierunku agentów AI, które działają nieustannie i wymagają maksymalnej efektywności zasobów.
NeMo Switchyard to otwartoźródłowa biblioteka, która umożliwia deweloperom zbudowanie routera dostosowanego do ich konkretnych potrzeb. Zamiast wymagać ręcznego wyboru modelu dla każdego zadania, system inteligentnie kieruje żądania do najbardziej odpowiedniego i zdolnego modelu. Eliminuje to konieczność przepisywania aplikacji przy zmianie strategii wdrażania modeli, co znacznie przyspieszą proces iteracji i wdrażania w produkcji.
Razem te narzędzia dają przedsiębiorstwom pełną kontrolę nad tym, gdzie AI zostaje uruchomione, jak się skaluje i jak efektywnie operuje - na PC-tach, stacjach roboczych, w data center oraz w chmurze. Dla systemów agentów działających zawsze aktywnie, takie podejście systemowe do modeli staje się konieczne, umożliwiając elastyczną architekturę bez wpływu na wydajność ani koszty operacyjne.