Coraz więcej zespołów wykorzystuje automatyczną ocenę agentów AI przez inne modele językowe, ale według nowego badania GAUGE ta metoda ma poważne ograniczenia w prawidłowym rankingowaniu konkurujących systemów. Badacze przetestowali 25 agentów z sześciu dostawców na dwóch benchmarkach i odkryli krytyczną niezgodność między tym, co ocenia LLM-as-a-Judge, a rzeczywistą skutecznością agentów w wykonywaniu zadań.
Kluczowe odkrycie to tak zwana satisfaction-success gap, czyli zjawisko, w którym wysoka ocena zadowolenia użytkownika w transkryptach rozmów nie ma prawie żadnego związku z faktycznym sukcesem w realizacji celu. Pracownicy panelu oceniający rozmowy zaślepionymi uznali 57,5 procenta konwersacji za satysfakcjonujące, ale okazało się, że połowa z nich nie rozwiązała właściwie problemu klienta. Ten wzór był konsekwentny dla każdego wymiaru oceny i powtarzał się na obu testowanych benchmarkach niezależnie od tego, kto dokonywał oceny.
Drugi problem dotyczy zdolności rozróżniania między silnymi agentami. Gdy różnica w wynikach między porównywanymi systemami była duża, system oceniający rankingował je prawidłowo. Jednak kiedy agenci osiągali zbliżone wyniki, system zaczął się mylić - stopa niezgody w rankingowaniu wzrosła do 31 procent w blisko wyrównanym parach, podczas gdy dla wyraźnie różnych par wynosiła poniżej 1 procent. Badacze zaproponowali rozwiązanie: przed zaufaniem automatycznej ocenie warto ją najpierw skalibrować, używając prostych obiektywnych metryk jako wczesnego ostrzeżenia przed możliwymi błędami rankingowania.