Naukowcy opublikowali badanie opisujące nową metodę rozkładu niepewności dla agentów AI opartych na modelach typu LLM, która umożliwia im proaktywne szukanie wyjaśnień od użytkowników. Problem polega na tym, że klasyczne podejście dzielące niepewność na aleatoryczną i epistemiczną jest niewystarczające dla interaktywnych agentów działających w rzeczywistych warunkach.
Zaproponowana metoda bazuje na prompt-engineering zamiast na drogich technikach wymagających dostępu do logit z modelu czy wielokrotnego próbkowania. Rozwiązanie rozdziela pewność akcji od niepewności związanej z niedookreśleniem zadania, co pozwala agentowi rozpoznać, kiedy brakuje mu informacji do właściwego wykonania polecenia. Zespół stworzył dwa nowe benchmarki (WebShop-Clarification i ALFWorld-Clarification), w których 50% zadań jest celowo dwuznacznych, i porównał swoje podejście z metodami ReAct+UE i UAM na pięciu różnych modelach językowych.
Badanie jest znaczące dla praktycznego wdrażania agentów AI, ponieważ rozwiązanie musi działać z ograniczeniami rzeczywistych wdrożeń, takimi jak dostęp tylko do API bez możliwości ingerencji w model czy opóźnienia związane z interaktywnością. Zdolność agentów do inteligentnego pytania o wyjaśnienia może drastycznie poprawić ich wydajność w niejasnych scenariuszach i uczynić je bardziej użytecznym w praktyce.