Naukowcy wprowadzili ReScopeBench, nowy benchmark przeznaczony do oceny czystości i trwałości doświadczenia w agentach AI działających przez długi czas. Benchmark obejmuje 18 interaktywnych środowisk i skupia się na tym, jak agenty zarządzają wiedzą nabytą w kolejnych zadaniach, szczególnie gdy otoczenie ulega zmianom. Kluczowe odróżnienie wprowadzone w badaniu to rozdzielenie doświadczenia strukturalnego - wiedzy o tym jak zorganizowane jest i dostępne środowisko - od doświadczenia regułowego, czyli ogólnych zasad i ograniczeń rządzących decyzjami w różnych zadaniach.
Badacze zaproponowali nowatorskie podejście oparte na doświadczeniu, które buduje strumienie zadań wokół wspólnej wiedzy i wprowadza dyskretne zmiany w środowisku. Dzięki temu możliwe było śledzenie, jak agenty nabywają doświadczenie, je ponownie wykorzystują i rewidują w odpowiedzi na zmiany. Ocena obejmowała wydajność zadań i zmianę zapisanego doświadczenia przez każdy strumień zadań.
Wyniki testu na 20 modelach ujawnią fundamentalne wyzwania dla agentów długotrwałych. Chociaż zachowana wiedza istotnie poprawiała wydajność wykonywania zadań, agenty wykazały znaczne trudności w utrzymaniu doświadczenia aktualnym gdy środowisko ewoluuje. Jeszcze bardziej problematyczne okazało się, że nawet gdy wymagane doświadczenie było poprawnie zapisane, agenty nie zawsze potrafiły je efektywnie wykorzystać do ukończenia zadań. Badanie wskazuje na selektywną konserwację wiedzy i jej efektywne zastosowanie jako komplementarne wyzwania dla rozwoju bardziej solidnych agentów.