Nvidia ujawniła nową platformę bezpieczeństwa Open Agent Safety Platform, która może zatrzymać niebezpieczne agenty AI działające poza ustalonymi granicami w ciągu zaledwie milisekund. Ogłoszenie dotyczyło bezpośredniej odpowiedzi na falę incydentów z uciekającymi agentami, o których wcześniej informowała Reuters.
Platforma opiera się na oprogramowaniu open-source OpenShell działającym na procesorze Vera AI firmy Nvidia. System pozwala użytkownikom precyzyjnie definiować, jakie informacje mogą udostępniać agentów AI, a następnie monitoruje te ograniczenia zarówno przed uruchomieniem zadania, jak i podczas jego wykonywania. Do platformy integruje się także technologia Sentry firmy Nvidia, wspierająca dodatkową warstwę bezpieczeństwa.
Ogłoszenie Nvidii pokazuje rosnącą świadomość w branży AI dotyczącą zagrożeń związanych z autonomicznymi agentami. W miarę jak systemy AI stają się bardziej zaawansowane i samodzielne, ryzyko wyniknięcia z zamierzonego zakresu działań wzrasta. Platforma Nvidii stanowi praktyczną próbę rozwiązania tego problemu, oferując narzędzia do szybkiej izolacji potencjalnie niebezpiecznych agentów przed wyrządzeniem szkód.