Naukowcy zaprezentowali EvoSkill-GUI, framework pozwalający agentom GUI na adaptację i doskonalenie swoich umiejętności bezpośrednio podczas wykonywania zadań na dynamicznych interfejsach użytkownika. Zamiast starego podejścia, gdzie umiejętności są stałe i ustalane przed wdrożeniem, nowy system traktuje je jako żywiącą się procedurę wiedzy, którą agent może modyfikować w locie na podstawie bezpośredniego feedbacku z wykonywanych akcji.
Głównym innowacyjnym elementem jest pętla reflect-revise-reuse. Każda umiejętność w EvoSkill-GUI to strukturalny pakiet zawierający metadane do pobierania, plany wykonania, lokalizację zapasową, reguły odzyskiwania po błędach, narzędzia dostępności i katalog awarii. Podczas wykonywania zadania agent może natychmiast zrewidować swoje kroki, niezależny krytyk diagnozuje nieudane trajektorie ze ścisłą izolacją informacji, a executor edytuje konkretne pliki umiejętności przez ograniczony interfejs narzędziowy. To wszystko odbywa się bez konieczności ponownego trenowania modelu.
Wyniki testów na trzech głównych benchmarkach - MobileWorld, AndroidWorld i OSWorld obejmujących zarówno platformy mobilne jak i desktopowe - pokazują konsystentne ulepszenia dla wielu modeli bazowych. Maksymalne zyski wyniosły odpowiednio 16,2 procent, 6,0 procent i 10,5 procent. Takie podejście jest szczególnie istotne, ponieważ interfejsy GUI często zawierają pop-upy, opóźnione ładowania i przemieszczane elementy, które całkowicie invaludują wcześniej ustalone plany. EvoSkill-GUI pozwala agentom gracefully radzić sobie z taką dynamiką poprzez ciągłe ulepszanie się z wykonywania, bez kosztownego ponownego treningu.