Izraelski startup Zenity zebrał właśnie 125 milionów dolarów na produkty monitorujące autonomiczne agenty AI działające wewnątrz systemów korporacyjnych. Inwestycja pokazuje skalę problemów bezpieczeństwa, którymi branża do tej pory nie zajmowała się systematycznie.
Do tej pory większość uwagi i finansowania w obszarze bezpieczeństwa AI skupiała się na ochronie samych modeli językowych i obróbce promptów. Tymczasem Zenity argumentuje, że rzeczywiste zagrożenie pojawia się dopiero wtedy, gdy agenty zaczynają działać niezależnie - odpowiadając na e-maile, przygotowując raporty czy podejmując decyzje biznesowe bez stałej kontroli człowieka. Wtedy błędy lub manipulacje mogą rozprzestrzeniać się szybko w całej organizacji.
Podejście Zenity wskazuje na rosnącą lukę w strategiach bezpieczeństwa AI. Podczas gdy hakerzy skupiają się na atakach na modele, rzeczywisty problem tkwi w tym, co agent robi, kiedy pracuje sam. To może wymagać całkowicie nowego podejścia do monitorowania, auditowania i ograniczania autonomicznych systemów AI w przedsiębiorstwach.