Naukowcy opracowali Sambę, nową architekturę neuronową do nawigacji audio-wizualnej robotów w rzeczywistych scenach. Rozwiązanie łączy innowacyjne komponenty Mamba z konwencjonalnymi podejściami, zastępując tradycyjne GRU (Gated Recurrent Units) zaadaptowanym Mamba State Encoder, który lepiej agreguje informacje czasowe. Dodatkowo powstał Audio Mamba Encoder specjalnie do przetwarzania spektrogramów, pokonując ograniczenia operatorów splotowych w uchwyceniu globalnych zależności w reprezentacji dźwięku.
Tło tej pracy sięga 2020 roku, kiedy ustabilizował się paradygmat oparty na sieciach konwolucyjnych i architekturach rekurencyjnych. Przez pięć lat backbone sieci do nawigacji audio-wizualnej praktycznie się nie zmieniły, co ograniczało ich zdolność do wydajnego przetwarzania dynamicznych sekwencji multimodalnych. Samba stanowi istotny krok w modernizacji tego pola badań.
Wyniki eksperymentów są imponujące. Na Dataset Matterport3D model osiągnął 11,3 procent wzrostu wskaźnika sukcesu nawigacji (SR) wobec dotychczasowych najlepszych rozwiązań. Na Dataset Replica, charakteryzującym się bardziej skomplikowanymi strukturami scen, przewaga Samby okazała się jeszcze większa. Architektura generalizuje się znacznie lepiej na nieznanych źródłach dźwięku i nowych scenach, a jednocześnie wymaga mniej zasobów obliczeniowych. To otwiera nowe perspektywy dla robotyki i systemów nawigacyjnych pracujących w złożonych środowiskach.