Naukowcy z grupy badawczej zaproponowali DocsChisel - framework do adaptacyjnej optymalizacji dokumentacji narzędzi dla agentów opartych na dużych modelach języka. Dotychczasowe prace skupiały się na doskonaleniu umiejętności agentów w korzystaniu z narzędzi, podczas gdy dokumentacja traktowana była jako stały, niezmienny wkład. Teraz zespół przeprowadził dużą empiryczną analizę pokazującą, że efektywność poszczególnych pól informacyjnych w dokumentacji narzędzi silnie zależy od konkretnej domeny zadania, używanego modelu LLM oraz paradygmatu agenta.
Główne odkrycie badania to stwierdzenie, że nie istnieje uniwersalna dokumentacja narzędzia, która działałaby konsekwentnie we wszystkich ustawieniach agenta. DocsChisel rozwiązuje ten problem poprzez analizu śladów nieudanych wykonań - na podstawie tego, gdzie agent się pomylił, system identyfikuje problemy związane z dokumentacją i iteracyjnie ją ulepszania. Framework dodaje, usuwa i ulepszza poszczególne pola informacyjne dla każdego narzędzia, dostosowując się do specyficznych potrzeb danego agenta i zadania.
Wyniki eksperymentów pokazały, że DocsChisel przewyższa dwa nowoczesne podejścia bazowe - EasyTool i DRAFT. To badanie ma istotne znaczenie dla praktycznego wdrażania systemów AI, ponieważ dokumentacja narzędzi to krytyczny element pozwalający agentom na prawidłową pracę z zewnętrznymi zasobami. Adaptacyjna optymalizacja dokumentacji otwiera nową drogę do poprawy wydajności agentów AI w rozwiązywaniu złożonych rzeczywistych problemów.