Naukowcy z arXiv zaproponowali nową metrykę tool efficiency do bezpośredniego pomiaru jakości wykorzystania narzędzi przez modele językowe w trybie agentów. Metoda opiera się na koncepcji marginal tool utility - wartości przydzielanej każdemu wywołaniu narzędzia, która wskazuje, czy narzędzie rzeczywiście pomaga w osiągnięciu celu, czy można je bezpiecznie usunąć z zestawu bez pogorszenia wyników. Do oceny przydatności poszczególnych narzędzi zespół wykorzystuje sam LLM jako arbitr (LLM-as-a-Judge).
Dotychczasowe prace skupiały się na doskonaleniu technik wykorzystania narzędzi oraz opracowywaniu metod oceny efektywności pośrednio - poprzez dokładność jako zastępczy wskaźnik. To badanie zmienia perspektywę, proponując bezpośredni pomiar efektywności w retrospektywnej analizie trajektorii działania agenta. Podejście to oddziela kwestię użyteczności od samej trafności, pozwalając na identyfikację nadmiarowych lub mało przydatnych narzędzi.
Znaczenie tego badania leży w praktycznych implikacjach dla tworzenia bardziej efektywnych agentów AI. Poprzez mierzenie marginal tool utility można projektować bardziej szczupłe zestawy narzędzi, zmniejszać liczbę niepotrzebnych wywołań i poprawiać ogólną wydajność systemu. Autorzy widząc swoją pracę jako punkt startowy dla przyszłych projektów benchmarków i inżynierii systemów agentowych, które będą optymalizować metryki uzupełniające, ale odrębne od tradycyjnej dokładności.