Naukowcy zaprezentowali Long-Horizon-Terminal-Bench, nowy benchmark zawierający 46 długoterminowych zadań terminalowych, które stawiają znacznie wyższe wymagania niż dotychczasowe testy agentów AI. Benchmark obejmuje dziewięć kategorii zadań: odtwarzanie eksperymentów, inżynierię oprogramowania, analizę multimodalną, gry interaktywne i obliczenia naukowe, przy czym każde zadanie zazwyczaj wymaga kilkadziesięciu minut do kilku godzin pracy i około 231 epizodów.
Klucz do nowości Long-Horizon-Terminal-Bench stanowi jego system oceny oparty na gęstych nagrodach pośrednich. Zamiast oceniać agenty tylko po osiągnięciu ostatecznego celu, jak robią istniejące benchmarki, nowy system rozkłada każde zadanie na drobnoziarniste podzadania z indywidualnym wynikiem. Pozwala to docenić częściowy postęp i iteracyjne podejścia agentów, a nie tylko stan końcowy. To podejście lepiej odzwierciedla rzeczywistą pracę - taką jak debugowanie czy eksperymentowanie - gdzie krok po kroku osiąga się postęp.
Ewaluacja 15 modeli granicznych wykazała, że agenty konsumują średnio 9,9 miliona tokenów per zadanie i wykonują około 85,3 minut pracy na uruchomienie. Wyniki pokazują, że nawet najlepsze dostępne modele mają znaczące wyzwania z długoterminowym planowaniem i zarządzaniem długimi kontekstami. Benchmark staje się ważnym narzędziem do oceny prawdziwych możliwości agentów AI poza prostymi, jednorazowymi problemami.