Mistral AI wydał Robostral Navigate - pierwszy swój model przeznaczony do embodied navigation, czyli kierowania robotami przez rzeczywiste otoczenie. To model o rozmiarze 8B miliardów parametrów, który przetwarza obrazy z kamery RGB i naturalne instrukcje tekstowe, a następnie steruje ruchem robota w zgodzie z poleceniem. Na walidacyjnym zbiorze R2R-CE osiąga imponujący wynik 76,6% powodzenia nawigacji na niezapoznanym wcześniej terenie.
Co wyróżnia Robostral Navigate, to minimalistyczne wymagania sprzętowe. Podczas gdy tradycyjne systemy nawigacyjne polega na wielu czujnikach - czujnikach głębi, LiDAR-ze czy kilku kamerach jednocześnie - ten model potrzebuje jedynie zwykłej kamery RGB. Takie podejście nie tylko czyni robota bardziej dostępnym i tańszym, ale też bardziej wydajnym energetycznie. System potrafi nawigować przez rzeczywiste środowiska: biura, budynki mieszkalne i handlowe czy tereny otwarte, omijając przeszkody i ludzi, których nigdy nie widział podczas treningu.
Model wykorzystuje technikę zwaną pointing do decyzji o kolejnym ruchu. Na podstawie zadania i historii obserwacji przewiduje współrzędne pikseli docelowego punktu w bieżącym widoku kamery oraz pożądaną orientację robota. Takie podejście ma wyraźną przewagę nad komendami opartymi na metrycznych przesunięciach - jest bardziej intuicyjne dla modelu i lepiej generalizuje na nowe lokalizacje. Robostral Navigate zmienia paradygmat robotyki - pokazuje, że efektywna nawigacja autonomiczna jest możliwa z minimalnymi wymaganiami sensorycznymi.