Naukowcy z sektora AI opracowali nową technikę organizacji menu narzędzi dla agentów opartych na modelach języka, która znacznie poprawia ich skuteczność w rozwiązywaniu wieloetapowych zadań. Zamiast losowo rankować dostępne narzędzia, nowa metoda State-Path Tool Menu tworzy świadome menu poprzez analizę ścieżek stanów - predefiniowanych tras od bieżącego stanu problemu do pożądanego wyniku.
Haukt narzędzi stanowi rzeczywistą przeszkodę dla agentów pracujących z rozbudowanymi bibliotekami interfejsów, które mogą zawierać tysiące opcji. Metody dotychczasowe zwykle rankują narzędzia na podstawie bezpośredniej istotności zapytania, co prowadzi do sytuacji, gdy końcowe działanie pojawia się na liście, ale brakuje narzędzi pomocniczych tworzących jego dane wejściowe. Framework zaproponowany przez naukowców traktuje menu jako "execution prior" - wcześniejszą wiedzę o tym, jakie sekwencje działań pracowały w przeszłości.
Architek systemu składa się z trzech komponentów: encodera reprezentującego dostępne narzędzia i ich wyjścia, retrievera wybierającego kluczowe narzędzia, oraz rerankerui ustawiającego ich w prawidłowej kolejności. Na benchmarku ToolBench metoda zwiększyła wskaźnik sukcesu wykonywania zadań online z 73,7 proc. do 89,8 proc., jednocześnie osiągając lepsze rezultaty z zaledwie 32 narzędziami niż istniejące systemy z 128 narzędziami. Zysk wydajności utrzymuje się niezależnie od mocy modelu agenta, co sugeruje uniwersalność podejścia.