Zespół badawczy wprowadził MOSAIC (Multimodal Orthogonalized Sparse Autoencoders for Influence Characterization), metodę pozwalającą na szczegółową analizę, jak dane treningowe wpływają na przewidywania modeli wizyjno-językowych takich jak Qwen i Gemma. W przeciwieństwie do istniejących podejść działających tylko na poziomie całych przykładów, MOSAIC wskazuje konkretne fragmenty obrazów i frazy tekstowe odpowiadające za dane odpowiedzi.
Metoda uczy się wspólnej rzadkiej przestrzeni latentnej dla obrazów i tekstu, gdzie każdy koncept ma cztery kluczowe cechy: rzadkość w obrębie każdej modalności, wspieranie się na ciągłych regionach obrazu, alignment z opisującymi je frazami oraz dekorelacja. Następnie wykorzystuje technikę EK-FAC do rozbicia wpływu danych treningowych poprzez te koncepty i przypisania ich wkładu do konkretnych regionów wizualnych i fragmentów tekstowych.
Badania wykazały, że nauczeni features są bardziej zlokalizowani i spójni bez pogorszenia wydajności modelu. Kluczowy rezultat: usuwanie latentów uszeregowanych według wpływu na dane treningowe powoduje większe zmiany w wyjściu modelu niż usuwanie latentów wybieranych na podstawie aktywacji czy częstości. Odkrycie, że dowody wizualne mogą znacznie zmienić hierarchię wpływu danych treningowych, ma konsekwencje dla zaufania i bezpieczeństwa modeli wizyjno-językowych, umożliwiając lepsze zrozumienie i potencjalnie zmniejszenie błędów w systemach wykorzystywanych do zadań krytycznych takich jak analiza zdjęć rentgenowskich.