MolmoMotion to nowy model AI, który łączy przetwarzanie języka naturalnego z prognozowaniem ruchu 3D. Model potrafi interpretować instrukcje tekstowe i na ich podstawie generować przewidywania dotyczące trajektorii oraz dynamiki ruchu obiektów w przestrzeni trójwymiarowej.
Rozwiązanie stanowi krok naprzód w integracji modeli linguistic z wizją komputerową i fizyką obliczeniową. Dotychczasowe podejścia do przewidywania ruchu opierały się głównie na danych wizualnych lub parametrycznych, bez wsparcia instrukcji w języku naturalnym. MolmoMotion zmienia to, pozwalając użytkownikom komunikować się z modelem poprzez polecenia tekstowe, co otwiera nowe możliwości w symulacjach, grach, robotyce oraz badaniach nad rozumieniem fizyki przez AI.
To podejście ma znaczenie dla rozwoju bardziej intuicyjnych interfejsów człowiek-maszyna oraz dla systemów AI zdolnych do lepszego rozumienia i symulowania rzeczywistego świata. Model może znaleźć zastosowanie w tworzeniu animacji, symulacjach nauczających czy narzędziach projektowych, gdzie precyzyjna kontrola ruchu poprzez instrukcje słowne byłaby znacznym ulepszeniem.