Systemy AI oparte na agentach autonomicznie wykonują wieloetapowe pipeline'e, dynamicznie wywoływując narzędzia i iterując aż do rozwiązania zadania, ale ich rzeczywiste wymagania obliczeniowe i opóźnienia są nieznane w momencie wysłania. W przeciwieństwie do klasycznych workflow'ów z ustaloną strukturą, zapotrzebowanie agentów na zasoby pozostaje ukryte do czasu wykonania - wynika z pośrednich obserwacji i stochastycznego próbkowania tokenów, tworząc rozkłady o grubych ogonach i wielomodalnych charakterystykach.
Orchestrators infrastruktury stają przed dylematem: jeśli przydzielą zbyt mało zasobów, pipeline może zostać spowolniony w trakcie działania lub nie spełnić deadline'u; jeśli przydzielą zbyt wiele, marnotrawią ograniczone zasoby brzegowe lub chmurowe. Istniejące harmonogramy wymagają całkowicie znanych grafów pipeline'u, a metody zarządzania zasobami w systemach edge'owych opierają się na parametrycznych lub stacjonarnych modelach popytu - żaden z tych podejść nie radzi sobie z dynamicznym, niestacjonarnym charakterem systemów agentycznych.
Proponowany algorytm Conformal Reservation for Orchestration (CRO) stanowi odpowiedź na to wyzwanie. Działa w trybie online, analizując przesuwające się okno historycznych śladów wykonań i przekształcając je w decyzje o zarezerwowaniu zasobów w momencie wysłania zadania. CRO oferuje probabilistyczne gwarancje, że pipeline spełni swoje deadline'e i że zarezerwowane zasoby pokryjąą faktyczne zapotrzebowanie - każda gwarancja z predefiniowanym poziomem pewności.