NVIDIA udostępniła kompletny tutorial dotyczący IsaacTeleop, framework'u który transformuje hand tracking i input z kontrolerów na rozkazy dla robotów. Zamiast podłączać urządzenia XR, autorzy pokazują jak zbudować każdy element od zera w NumPy, co umożliwia uruchomienie całego systemu na zwykłym CPU Colaba bez specjalistycznego sprzętu.
Jądrem IsaacTeleop jest graph-based silnik retargetingu, który działa na systemie typów wspólnym dla wszystkich węzłów. Tutorial prowadzi przez generowanie syntetycznych danych śledzenia dłoni i kontrolerów, tworzenie własnego retargeteru z parametrami dostrajalnymi w locie, oraz uruchomianie wbudowanych retargetów dla griperów i transformacji SE(3). System emituje jeden wektor akcji na krok, obsługuje transformacje we współrzędnych świata i zarządza state machine z możliwością pausy i zatrzymania.
To rozwiązanie ma praktyczne znaczenie dla telerobotics i VR-controlled robotics. Framework wspiera mapowanie od kontrolerów do dexterous hands z parametrami tuningowanymi i zapisywanymi między sesjami, co czyni go narzędziem przydatnym dla badaczy i inżynierów pracujących nad intuicyjnym sterowaniem robotów na dalekie odległości.