Przedsiębiorstwa wdrażają autonomiczne agenty AI szybciej niż potrafią nimi zarządzać, ale obecne podejścia próbują nakładać jedno rozwiązanie - zazwyczaj DevSecOps projektowany dla deterministycznej automatyzacji - na każdy poziom złożoności. Naukowcy z arXiv argumentują, że governance agentów AI to tak naprawdę cztery oddzielne problemy, każdy wymagający własnej dyscypliny naukowej.
Framework CASE przypisuje kontrolę teoretyczną pojedynczym agentom (intencja jako punkt nastawy, guardrails jako sprzężenie zwrotne, ewaluacja jako obserwacja), teorię systemów adaptacyjnych kolektywom agentów (gdzie emergencja sprawia, że zapewnianie bezpieczeństwa jednego agenta nie da się skomponować dla całej grupy), cybernetykę nadzorczą zespołom człowiek-agent (gdzie Prawo Wymaganej Różnorodności pokazuje, że bez wsparcia nadzór człowieka strukturalnie zawodzi), i operacyjnie zarządzanie flotami systemów. Badacze formalizują każdą warstwę i identyfikują warunki sprzężenia między nimi, odkrywając paradoks wdrażania bez interwencji - doskonałość na jednej warstwie napęża problemy na innych.
Trzy empiryczne studia walidują tezę: 82 procent udokumentowanych awarii agentów w produkcji to trajektorie obejmujące wiele warstw, żaden z 22 narzędzi ekosystemu nie oferuje pełnego pokrycia warstwy drugiej zajmującej się emergencją, a wszystkie 35 ocenionych publicznych wdrożeń znajduje się w najniższym paśmie dojrzałości. To niezgodność między ryzykiem realizowanym na warstwie emergencji a zdolnościami ledwo oferowanymi i praktyką zupełnie nieobecną stanowi główny problem w governance agentów AI.