Modele embedding stanowią fundament nowoczesnych systemów AI - od wyszukiwarek po systemy rekomendacyjne - ale badania nad nimi tradycyjnie rozwijały się w silosach, podzielonych ze względu na typ danych (tekst, obraz, dźwięk, wideo). Naukowcy z badań wskazują, że ta fragmentacja maskuje głęboką konwergencję: wszystkie te obszary zmierzają ku wspólnym zasadom.
Ramę unifikacji budują trzy filarowe technologie: contrastive learning (uczenie przez kontrast), Transformer i zmiana w granularności przetwarzanych danych. Artykuł proponuje trzy progresywne poziomy zdolności - coverage (szerokość wsparcia), comparability (porównywalność między modalnościami) i compositionality (zdolność do komponowania) - oraz ścieżki do ich osiągnięcia. Transformacja danych rozszerza coverage, alignment umożliwia porównywanie różnych modalności, a wspólny embedding (joint embedding) stanowi docelową fazę zdolną do compositionality.
To pierwsze wszechstronne, cross-modalne spojrzenie na badania embedding może być katalizatorem dla następnej generacji systemów AI. Zrozumienie wspólnych zasad za pozornie oddzielonymi badaniami pozwala naukowcom z różnych dziedzin na wymianę wiedzy i przyspeszenie postępu. Może to prowadzić do bardziej wydajnych, uniwersalnych modeli zdolnych do jednoczesnego przetwarzania i zrozumienia wielu typów danych.