Vercel Labs wydała agent-desktop, open-source'owe CLI napisane w Rust-u do sterowania aplikacjami komputerowymi przez agentów AI. Zamiast tradycyjnego podejścia z analizą zrzutów ekranu, narzędzie bezpośrednio czyta drzewo dostępności systemu operacyjnego i zwraca agentowi strukturalny JSON ze wszystkimi elementami interfejsu, które można kontrolować. Wersja 1.0.2 uruchomiona 30 października 2026 roku działa na macOS 13+, Windows 10 1809+ i Ubuntu 24.04+, obsługuje zarówno x64 jak i ARM64, i nie wymaga GPU.
Dopuszczenie do open-source'u znacznie ułatwia developerom integrację. Agent-desktop to narzędzie zbudowane na zasadzie pipelinea - każde polecenie przechodzi przez stały łańcuch, przy czym interfejs z systemem odbywa się wyłącznie przez adaptery platformy. Wspiera natywne API dostępności: AX API na macOS, UI Automation na Windows i AT-SPI na Linuxie. Narzędzie zawiera 60 komend, z czego 56 jest operacyjnych, i wydrukuje jeden envelope JSON dla każdego polecenia.
Według raportów zespołu, agent-desktop osiąga zdumiewające wyniki - zużywa nawet 78-96 procent mniej tokenów na gęstych aplikacjach opartych na Electronie w porównaniu z tradycyjnym sterowaniem poprzez zrzuty ekranu. Działania są deterministyczne i bezpieczne do powtórzeń. Chociaż niezalezny benchmark dla computer-use jeszcze nie istnieje, wydajność w praktyce sugeruje, że każdy coding agent z dostępem do shell'a może teraz autonomicznie operować aplikacjami natywnym, bez potrzeby modelu wizyjnego.