Naukowcy z arXiv opublikowali kompleksowe badanie dotyczące awarii w systemach agentic security, które używają agentów LLM do automatycznego planowania i wykonywania testów penetracyjnych. Zespół przeprowadził praktyczną ewaluację dziesięciu popularnych narzędzi - zarówno statycznych, dynamicznych, cloudowych, jak i dedykowanych do red-teamingu AI - identyfikując systematyczne problemy operacyjne pojawiające się podczas przechodzenia od demonstracji do wdrożeń produkcyjnych.
Badacze wprowadzili czterowymiarowy Integration Friction Index pozwalający rozróżnić jednorazowe koszty inżynieryjne od powtarzających się kosztów organizacyjnych, prawnych i utrzymaniowych. Modelując system agentic security jako stochastyczne polityki LLM owinięte deterministycznym mediatorem, wykazali konkretne matematyczne prawidłowości: długotrwałe sesje tracą zgromadzone dowody wraz z każdą fazą wykonania, natomiast krótkotrwałe pod-agenty rozszerzają użyteczny horyzont zgodnie ze stosunkiem kompresji między surowymi dowodami a ich streszczeniami. Zespół pokazał również, że dwuetapowy kaskada weryfikacji mnoży wskaźniki wiarygodności scorerów, ale przynosi niewiele korzyści gdy błędy scorerów są skorelowane.
Kluczowe odkrycia mają praktyczne implikacje dla wdrażania systemów agentic security - rozwiązanie problemu routingu między planerem a wykonawcą jako problemu plecakowego doprowadziło do wyprowadzenia zamkniętej postaci limitu wykonania dla narzędzi o rozkładzie gruboogonowym. Badanie wykazało również, że kontrola zakresu i budżetu nie może być delegowana do promptów systemowych, co stanowi fundamentalne ograniczenie dla architektury tego typu systemów.