Zespół badawczy zaprezentował AlphaDianę - system pomiarowy do systematycznej oceny agentów AI, czyli systemów łączących modele rozumowania z narzędziami do wykonywania zadań. System ma modułową architekturę, która pozwala testować zarówno całe agenty jak i izolowane komponenty, zachowując kontrolę nad warunkami testowania i ponownym użyciem pamięci.
Badacze przetestowali trzy otwarte modele i trzy otwarte harneesy na pięciu zestawach benchmarków opartych na odpowiedziach, a dwa modele sprawdzili również na dwóch benchmarkach interaktywnych. Odkryli zaskakujące wyniki: harneesy nie zawsze poprawiają dokładność modeli rozumowania. Zyski na pytaniach, które model nie rozwiązałby sam, mogą być przeważone stratami na pytaniach, które odpowiada poprawnie bez pomocy narzędzi. Ta niespójność pojawia się również przy ingerencji w komponenty - ani udzielanie wskazówek dot. umiejętności ani zachowywanie historii nie poprawiają wiarygodnie dokładności.
AlphaDiana wiąże poprawność odpowiedzi i status wykonania z miernikami i pełnymi śladami działania agentów, umożliwiając szczegółową diagnostykę. System pokazuje, że niska entropia tokenów wyjściowych może towarzyszyć błędnym odpowiedziom, a mniej outputu na jedno wykonanie może oznaczać więcej tokenów na poprawną odpowiedź gdy dokładność spada. To stanowi ważny przywód do bardziej holistycznego podejścia do oceny agentów AI.