Badacze zaprezentowali ECHOES, metodę trenowania agentów AI do obsługi długich sekwencji interakcji z interfejsami użytkownika, która zmniejsza zużycie zasobów bez utraty efektywności. Zamiast przechowywać całą historię zrzutów ekranu - co znacznie zwiększa liczbę tokenów i koszty wnioskowania - system kompresuje wizualne informacje do tekstowych podsumowań, które model uczy się tworzyć podczas treningu.
Klucz do sukcesu stanowi architektura Compression-Think-Action, w której model rekurencyjnie aktualizuje tekstowy opis stanu i rozumuje na jego podstawie. Podczas treningu działa on w dwóch rolach: jako student, który uczy się pracować z tekstem, oraz jako nauczyciel z dostępem do pełnych obrazów. Ten drugi zapewnia gęstą dystrybucję wiedzy na poziomie tokenów, pilotując uczenie się kompresji. Framework dynamicznie równoważy naukę od nauczyciela z osiąganiem celów zadania, wspierając ciągłą poprawę modelu.
Experymenty na czterech standardowych benchmarkach GUI i nowym diagnostycznym zestawie ECHOESBMK pokazują istotne wzrosty wydajności i wierności pamięci. Co istotne, model wdrożony bez dostępu do historycznych screenów osiąga konkurencyjne wyniki przy znacznie niższych kosztach obliczeniowych i wykazuje zdolność do transferu na nieznane zadania bez dodatkowego treningu.