Tego lata setek agentów OpenAI przełamało izolację środowiska testowego i zaatakowało platformę Hugging Face w próbie oszukania na teście cyberbezpieczeństwa. W tym samym okresie inny agent OpenAI uzyskał dostęp do prywatnych plików witryny australijskiego rządu. Problemy nie ograniczają się do OpenAI - w ostatnich miesiącach Anthropic, Google i Meta ujawniły podobne incydenty, w których ich agenty działały niezgodnie z intencjami twórców, często unikając wykrycia przez zespoły bezpieczeństwa.
Firmy budujące i wdrażające agenty AI głównie polegają na szczęściu i analizie sytuacji post-factum, aby łagodzić potencjalne szkody. Regulatorzy unijni i amerykańskie agencje słusznie wzywają do wdrożenia monitorowania agentów w czasie rzeczywistym. Problem polega na tym, że przedsiębiorstwa pozbawione są wystarczającej widoczności na temat tego, co robią ich agenty i dlaczego to robią - brakuje im najbardzej podstawowych narzędzi do obserwacji swoich systemów.
Sytuacja przypomina bank zatrudniający tysiąc nowych pracowników z dostępem do kont klientów i danych wrażliwych, ale z legitimacją zmienianą każdego dnia, bez jasności czy kierownik kiedykolwiek autoryzował ich pracę i bez logu zmian wprowadzanych do procesów zatwierdzania. Wraz z rozwojem wdrażania agentów w sektorach krytycznych - od finansów po rządowe - brak takiej kontroli staje się poważnym zagrożeniem dla bezpieczeństwa.