Zespół badawczy przedstawił ProcAgent - w pełni działający na urządzeniu brzegowym system do asystencji w procedurowych zadaniach, takich jak montaż mebli czy naprawy domowe. System działa na pojedynczym NVIDIA Jetson AGX Orin i wykorzystuje architekturę propose-and-verify, łączącą percepcję wizualną, grafowe reprezentacje zadań, weryfikację opartą na modelach vision-language oraz agenta opartego na LLM do interakcji z użytkownikiem.
Tradycyjne asystenty multimodalne opierają się na wnioskowaniu w chmurze i stałej percepcji, co czyni je niewygodnymi w domowych ustawieniach wrażliwych na prywatność i wymagających szybkiego reagowania. ProcAgent rozwiązuje ten problem poprzez inteligentne proponowanie postępu użytkownika i wywoływanie drożej wizualnej analizy tylko gdy pojawi się niejasność lub potencjalne odejście od procedury. System obsługuje zarówno reaktywne odpowiadanie na pytania jak i proaktywne interwencje z potwierdzeniem człowieka w pętli.
Ewaluacja pokazała, że pomimo pełnego działania na urządzeniu brzegowym, system utrzymuje responsywną interakcję - zapytania tekstowe rozwiązuje około 2 sekund, a wizualnie ugruntowane około 8 sekund. Badania użytkowników z 10 uczestnikami wykonującymi zadania montażowe potwierdzają praktyczną przydatność rozwiązania dla codziennych domowych zastosowań.