Badacze z komunity AI opracowali framework SAAG do bardziej szczegółowej oceny tego, jak dobrze modele języka radzą sobie z wywoływaniem funkcji i agentów. Problem polega na tym, że obecne benchmarki wszystko redukują do jednego wyniku: funkcja wywołana poprawnie czy nie. Tymczasem możliwe są różne rodzaje porażek - model może wybrać właściwą funkcję, ale podać złe wartości parametrów, albo spełnić wymaganą strukturę, ale z całkowicie złych powodów.
Proponowana metoda rozdziela ocenę na trzy sekwencyjne fazy. Najpierw sprawdza się registry conformance, czyli czy model wybrał funkcję z dostępnych opcji. Następnie oceniana jest structural completeness - czy wszystkie wymagane parametry są obecne. Na koniec przychodzi argument grounding - czy podane wartości mają sens i są faktycznie ugruntowane w danych wejściowych, a nie hallucynowane. Każdy etap producuje diagnostyczne informacje, które mogą prowadzić do samonaprawy modelu.
Eksperyment przeprowadzono na trzech modelach poniżej 4 miliardów parametrów, testując rejestry o rozmiarach 5, 10 i 15 funkcji pochodzących z datasetu Glaive. Wyniki pokazały, że takie rozłożone informacje zwrotne konsystentnie redukują halucynacje wartości i poprawiają precyzję argumentów w stosunku do standardowego podejścia jednorazowego i binarnych wyników. Zyski w metrykach end-to-end F1 były skromniejsze i zależne od modelu, ale sama idea diagnostyki etapowej okazała się przydatna dla zrozumienia i poprawy niezawodności agentów w praktyce.