Ant Group's Robbyant wypuścił LingBot-VLA 2.0, pierwszy otwarty model Vision-Language-Action do manipulacji robotami, wraz z pełnym kodem na licencji Apache-2.0 i 6-miliardowym checkpointem. Model opiera się na wizji i języku, przetwarzając obrazy z kamer i instrukcje tekstowe na konkretne akcje robota. W praktyce oznacza to, że robot może zrozumieć co chcemy od niego zrobić i to wykonać - wszystko w pojedynczym wywołaniu inferencji trwającym około 130 milisekund na GPU NVIDIA GeForce RTX 4090D.
Klucz do działania LingBot-VLA 2.0 to masywne, starannie przygotowane dane treningowe. Zespół naukowców zebrał 60 tysięcy godzin danych, z czego 50 tysięcy pochodzi z trajektorii robotycznych i 10 tysięcy z wideo z perspektywy pierwszoosobowej ludzi. Dane obejmują 20 różnych konfiguracji robotycznych, od ramion jednoosiowych po pełne roboty humanoidalne. To pierwsza rzeczywista próba skalowania modeli VLA na wiele różnych typów robotów na raz - wcześniejsze systemy albo pracowały tylko na jednym modelu robota, albo jedynie w kontrolowanym laboratorium.
Często obserwowany problem w tej branży - modele wyglądają świetnie w Research but totalne rozczarowanie w praktyce - Robbyant chciał rozwiązać na trzech frontach. Poza samą uogólnialnością na nowe roboty, rozszerzona przestrzeń akcji pozwala na bardziej złożone manipulacje, a dodane modelowanie dynamiki predykcyjnej daje robotowi intuicję o konsekwencjach swoich ruchów. To może otworzyć nową erę - zamiast każda firma musi mieć swój własny specjalistyczny model, potencjalnie jeden model może pracować dla wielu robotów naraz.