Ocenianie agentów AI wyłącznie na podstawie wyniku końcowego stanowi standard przemysłowy, ale badacze z arXiv wykazali, że podejście to ma fundamentalne ograniczenia - nie potrafi wykryć błędów w procesie rozwiązywania, jeśli ostateczna odpowiedź okazuje się prawidłowa. Zespół naukowców skonstruował eksperyment z deterministycznym środowiskiem wsparcia technicznego, gdzie celowo wstrzykiwali błędy na konkretnych etapach i obserwowali, czy wpłynęły one na widoczny dla użytkownika wynik.
Wyniki były zaskakujące. Tradycyjny oceniający bazujący tylko na wyniku końcowym chwytał 84 procent błędów, które widocznie psują rezultat, ale zaledwie 45 procent błędów ukrytych - takich, które nie wpływają na ostateczną odpowiedź. Jednocześnie błędnie flagował jako problemowe aż 33 procent całkowicie poprawnych trajektorii. Natomiast oceniający analizujący poszczególne kroki rozwiązywania osiągał 77 procent czułości na błędy ukryte przy zerowych fałszywych alarmach, choć wymagał trzykrotnie wyższych zasobów obliczeniowych. Badacze odkryli też, że żaden z oceniających rzeczywiście analizuje ostateczną odpowiedź - wymyślona obietnica dołączona do prawidłowej trajektorii całkowicie unikała detekcji przez reguły programistyczne i 82 procent czasu przez zaawansowany oceniający.
Badania mają istotne implikacje dla ewaluacji agentów AI. Autorzy argumentują, że oceny muszą rozróżniać między błędami widocznymi i ukrytymi, a także udostępniają publiczną infrastrukturę do reprodukcji badań, co stanowi znaczący wkład w naukę o ocenianiu systemów autonomicznych.