Naukowcy z arXiv CS.AI zaproponowali closed-loop evaluation, nową metodę oceny agentów AI już wdrożonych w produkcji, która zastępuje tradycyjne jednorazowe benchmarki ciągłym monitoringiem i samo-doskonaleniem. Zamiast pojedynczego wyniku testu, system mierzy działanie na czterech poziomach analityki: span (poszczególne operacje), trace (sekwencje działań), conversation (całe rozmowy) i engagement (długoterminowe zaangażowanie użytkownika). Każdy poziom oceniany jest wzdłuż czterech wymiarów: Execution (czy agent robi to, co powinien), Substance (jakość treści), Trajectory (czy postęp jest właściwy) i Results (rzeczywiste osiągnięcia biznesowe).
Klucz do podejścia stanowią dwie pętle sprzężenia zwrotnego: wewnętrzna audytuje same dane, reguły i metryki, zewnętrzna wykorzystuje testy regresyjne do napędzania ulepszeń agenta. System wykorzystuje specjalne agenty ewaluacyjne generowane przez Agent Factory, z których każdy ma pakiet wiedzy domeny i adapter harness. Metoda wymaga, aby każda konkluzja mogła być wytraczona do danych atomowych i była obliczana przez wersjonowane reguły - to gwarantuje przejrzystość i powtarzalność ocen. Całość można automatyzować przez dedykowany pipeline.
Badacze przetestowali metodę na agencie SharpInsight, który wykonuje analizę biznesową, oraz na publicznych danych konwersacyjnych. Wyniki pokazują, że ewaluacja oparta na werdykcie dowodów i reguł osiąga wyższą wiarygodność międzyobserwatorską (ICC 0.86) niż tradycyjne holystyczne oceny (0.81), a wartość kappa dla first-level agreement wyniosła 0.81. To sugeruje, że szczegółowa, strukturalna ocena w pętli zamkniętej może być fundamentem dla bardziej niezawodnych i samokorygujących się systemów agentowych.