Naukowcy opracowali Recursive Semantic Divergence (RSD), nową nienadzorowaną metrykę do oceny spójności agentów LLM na poziomie całej trajektorii. Problem, który rozwiązuje, jest poważny - agenty bazowane na dużych modelach językowych z dostępem do narzędzi wykazują nieprzewidywalność w zachowaniu. Mogą wywoływać różne narzędzia, generować sprzeczne wyniki lub podążać całkowicie różnymi strategiami, nawet gdy zaczynają z identycznego stanu. Ta zmienność rośnie z każdym kolejnym krokiem i poważnie zagraża niezawodności systemów wdrażanych w produkcji.
Istniejące metryki oceny agentów skupiają się głównie na mierzeniu poprawności zadań poprzez wyniki oparte na ukończeniu. Nie chwytają jednak spójności zachowania między niezależnymi przebiegami. Poprzednie podejścia analizowały zachowanie albo na poziomie tokenów za pomocą rozkładów prawdopodobieństwa, albo na poziomie pojedynczej odpowiedzi przy użyciu klasteryzacji semantycznej. RSD idzie dalej - działa rekurencyjnie na przyszłych stanach, mierząc oczekiwaną kumulacyjną semantyczną niezgodność między dwoma niezależnymi przejazdami tego samego agenta. Sieć neuronowa uczona na niezależnych przebiegach przybliża metrykę, pozwalając oszacować przyszłą rozbieżność już z bieżącego stanu.
Gdy RSD zastosowano jako sygnał nagrody do fine-tuningu modelu, wyniki były obiecujące - zmienność w postępie zadania spadła z 132% do 91%. To oznacza znacznie bardziej konsekwentne zachowanie agenta. Podejście jest szczególnie ważne, ponieważ konsystencja agentów to jeden z kluczowych warunków ich praktycznego stosowania w systemach wymagających niezawodności.