Naukowcy opublikowali MetaRoute-Bench, framework do porównywania różnych sposobów podejmowania decyzji przez systemy agentowe w kluczowych momentach ich działania. Praktycznie każdy autonomiczny system musi cyklicznie decydować, czy odpowiedzieć sam, rozłożyć zadanie na części, sięgnąć po dodatkowe narzędzia, wykonać kod, przekazać pracę specjaliście czy zweryfikować pośrednie wyniki. Problem polega na tym, że takie meta-decyzje zwykle pozostają schowane wewnątrz orkiestracji i ocenia się je tylko poprzez całkowity sukces zadania, bez analizy kosztów i opóźnień.
Benchmark zawiera 180 syntetycznych scenariuszy obejmujących analizę danych, badania i przetwarzanie dokumentów. Autorzy testowali osiem różnych polityk routowania na 43,200 śladach wykonania. Najlepiej wypadła dynamiczna polityka uwzględniająca właściwości konkretnego zadania - osiągnęła 79,4% sukcesu. Dla porównania, statyczna metoda dopasowana do danego typu pracy dała 76,7%, jednorazowe routowanie 67,4%, a bezpośrednie odpowiadanie zaledwie 52,9%. To poprawienie o 2,7 punktu procentowego wiąże się jednak z wzrostem kosztów o 4,7% i opóźnień o 6,4%.
Ablacje pokazały, że największe straty pochodzą z ograniczenia do jednej operacji routowania oraz usunięcia mechanizmu weryfikacji. Ważne zastrzeżenie: wyniki oparte są na offline'owym modelu wykonania z ustalonymi seed'ami losowości, a nie na prawdziwym wdrożeniu. Główna wartość tego badania to reproducible methodology i analiza handlu między precyzją a kosztami, stanowiąca punkt odniesienia dla przyszłych prac nad optymalizacją systemów agentowych.