Naukowcy z AI opublikowali InferenceBench, nowy benchmark do ewaluacji agentów AI w zadaniach optymalizacji wnioskowania dużych modeli językowych. W teście każdy agent otrzymuje konkretny LLM, pojedynczy GPU H100, scenariusz optymalizacyjny oraz budżet czasowy wynoszący dokładnie dwie godziny na wdrażanie serwera inferencji kompatybilnego z OpenAI i zmniejszanie opóźnień. Benchmark wyróżnia się tym, że nie zadaje agentom wcześniej zdefiniowanego przepisu, ale stawia przed nimi autentyczne problemy optymalizacyjne izolujące różne wąskie gardła systemowe.
Badanie obejmowało 15 konfiguracji frontier agentów i wykazało interesujące wyniki. Agenci konsekwentnie polepszali wydajność względem naiwnego baseline'a opartego na PyTorch, osiągając przyspieszenia do 8,08 raza. W porównaniu z domyślnymi ustawieniami vLLM - popularnego silnika inferencji - agenci osiągali przyspieszenie 4,05 raza. Jednak gdy porównano ich wyniki z prostym wyszukiwaniem hiperparametrów w tym samym terminie dwóch godzin, agenci nie dorównywali osiągając najwyżej 11,53 raza przyspieszenia.
Analiza trajektorii agentów ujawniła kluczowe wyzwania. Mimo że agenci identyfikowali wiele potencjalnych technik optymalizacyjnych, przeważnie skupiali się na jednej infrastrukturze inferencji. Testowali zaledwie kilka różnych konfiguracji, a pozostały budżet czasowy tracili na ponowne pomiary, naprawy i dostrajanie hiperparametrów. Sugeruje to, że obecne podejścia agentów potrzebują lepszych strategii eksploracji i bardziej systematycznego przeszukiwania przestrzeni możliwości optymalizacyjnych.