Naukowcy z arXiv zaprezentowali RealCLI, nową metodę ewaluacji agentów pracujących z interfejsem linii poleceń w rzeczywistych warunkach. Istniejące benchmarki zazwyczaj oceniają agenty CLI przy założeniu, że instrukcje użytkownika pozostają niezmienne, jednak RealCLI wprowadza dynamiczną współpracę gdzie człowiek może dostarczać progresywnie informacje, poprawki i decyzje w trakcie wykonania zadania.
Framework RealCLI opiera się na pięciu wymiarach oceny z 22 podwymiarami i 51 szablonami scenariuszy interakcji. Benchmark oferuje dwa tryby porównania par agentów: RealCLI-EXEC gdzie wszystkie specyfikacje są znane z góry, oraz RealCLI-COLLAB gdzie skryptowany użytkownik stopniowo wprowadza informacje, poprawy i ograniczenia. Taka struktura pozwala przechwycić jakość rzeczywistej współpracy, która wykracza poza zwykłe wykonanie zadania.
Wyniki testów ujawniły znaczące luki w zdolnościach obecnych agentów - najlepsze konfiguracje osiągnęły średni wynik 49,2%, a przy wspólnej metryce współpracy (J_collab) szczytowa wydajność wyniosła jedynie 37,6%. Agenty wykazały szczególne trudności w sterowaniu, kalibracji zaufania i zarządzaniu granicami bezpieczeństwa. RealCLI stanowi ścisłą, powtarzalną podstawę do pomiaru postępów w rozwoju agentów CLI zdolnych do lepszej współpracy z użytkownikami.