iFLYTEK-Embodied-Omni to zunifikowany model fundamentacyjny, który wspólnie modeluje wideo, obrazy, język i akcje w ramach jednej architektury opartej na multimodalnej autoatencji. Dotychczasowe podejścia zwykle specjalizowały się w jednym obszarze - rozumowaniu wizyjno-językowym, modelowaniu świata na podstawie wideo albo generowaniu akcji - a kaskadowe pipelines, które najpierw syntetyzowały przyszłe obserwacje a potem wnioskowały akcje, prowadziły do wąskich gardeł interfejsowych i nawarstwiania się błędów predykcji.
Architektura modelu opiera się na koncepcji współpracy mózgu i móżdżku. Komponenty wizyjno-językowe i video-generacyjne pełnią rolę wysokopoziomowego mózgu odpowiedzialnego za rozumienie instrukcji, planowanie zadań, śledzenie postępu i predykcję przyszłych stanów wizualnych. Z kolei model generacji akcji działa jako niskopoziomowy móżdżek, konwertując planowane podcele i multimodalny kontekst bezpośrednio w wykonywalne sekwencje akcji. Takie podejście eliminuje bottleneck interfejsów między modułami i zmniejsza propagację błędów w systemie.
Do treningu modelu zespół połączył anotowane akcjami i wolne od akcji wideo z demonstracji człowieka i interakcji robotycznych z danymi rozumowania wcielonego, percepcji wcielonej i ogólnodostępnymi danymi obraz-tekst. To daje potencjalnie bardziej niezawodne i uniwersalne agenty wcielone zdolne do wykonywania złożonych zadań w rzeczywistym otoczeniu bez konieczności specjalizowanych pipeline'ów.