Naukowcy zaprezentowali AOS-Bench - pierwszy benchmark do oceny agentów AI w roli menedżerów obciążenia pracą. Dotychczasowe testy skupiały się na pojedynczych zadaniach izolowanych od siebie, podczas gdy rzeczywistość wymaga od agentów obsługi strumienia równoczesnych żądań - buildy, procesy przetwarzania danych i poprawianie błędów mogą czekać jednocześnie na tych samych zasobach. AOS-Bench zmienia podejście, wprowadzając zadania przychodzące w czasie rzeczywistym, które muszą być wykonane w ramach wspólnych limitów CPU i pamięci.
Wyniki testów na pięciu kombinacjach modeli i harnesów pokazują znaczący spadek wydajności w warunkach dynamicznych. Na wysokim obciążeniu każdy system traci 13-23 punkty procenta w stosunku do warunków izolowanych. Na obciążeniu średnim rozbieżności są jeszcze bardziej drastyczne - podczas gdy systemy osiągają podobne wyniki w testach izolowanych (różnica 11 punktów), w scenariuszu ze strumieniem zadań ta rozbieżność rośnie do 26 punktów. Szczególnie zaskakujące jest to, że dwa systemy różniące się zaledwie o 0,6 punkta w izolacji dostarczają kolejno 54 procent i 68 procent tego samego zestawu zadań.
Analiza pokazuje, że głównym wąskim gardłem jest etap przyjmowania zadań - sekwencyjna dystrybucja pozostawia 73 procent zadań przy wysokim obciążeniu nieobsłużonych. Interesujące odkrycie to fakt, że bardziej zaawansowane strategie zarządzania niekoniecznie dają lepsze wyniki. Prosta stała współbieżność na poziomie dwóch równoczesnych zadań osiąga wyniki zaledwie cztery punkty gorsze niż najbardziej wyrafinowana strategia zarządzana przez agenta, zarówno przy średnim jak i wysokim obciążeniu. Badanie sugeruje, że rzeczywista słaba strona leży nie w algorytmach zarządzania, lecz w fundamentalnych ograniczeniach modeli w podejmowaniu dynamicznych decyzji o prioritetach.