Zespół badaczy opracował AgentLens - benchmark do ewaluacji agentów kodujących, który wychodzi poza binarne oceny sukces/porażka tradycyjnych testów. Zamiast redukcji wyniku do jednego bitu, system analizuje całą trajektorię pracy agenta, obejmując sposób, w jaki agent postępuje z instrukcjami, wykorzystuje dostępne narzędzia, weryfikuje własną pracę, powraca po błędach i komunikuje się z użytkownikiem.
Benchmark wykorzystuje hybrydowe podejście łączące formalną weryfikację dla zadań, gdzie istnieją obiektywne kryteria sukcesu, z recenzjami trajektorii napisanymi przez modele językowe oraz porównaniami side-by-side różnych podejść. Każdy przebieg agenta generuje czytelne wyjaśnienie uzasadniające przyznany wynik. To podejście okazało się przydatne nie tylko do rankingowania modeli - zespół wykorzystuje AgentLens do diagnozowania zachowań agentów, porównywania kolejnych wersji własnych systemów i wykrywania regresji produktowych w nocnych pipeline'ach ewaluacyjnych.
Projekt został udostępniony jako open source na GitHub, co umożliwia badaczom i deweloperom lepsze zrozumienie działania agentów kodujących w praktyce i rozwój bardziej wiarygodnych narzędzi opartych na AI do wspomagania programistów.