Problem halucynacji w multimodalnych modelach językowych jest dobrze znany: modele zbyt polega na tym, co wiedzą z danych treningowych dotyczących języka, ignorując informacje z obrazów. Istniejące rozwiązania próbują prostą strategię — tłumić te dominujące priory językowe. Problem polega na tym, że takie podejście czasem przerywa wewnętrzną strukturę modelu, co naukowcy nazwali Manifold Departure, powodując pogorszenie jakości odpowiedzi.
Proponowana metoda MGAP (Manifold-Guided Adaptive Projection) bierze bardziej wyrafinowane podejście oparte na geometrii ukrytych reprezentacji modelu. Zamiast ślepego tłumienia, konstruuje ona specjalną "podprzestrzeń" reprezentującą wpływy języka poprzez SVD, a następnie projekcję. Podczas generowania tekstu, metoda inteligentnie i selektywnie osłabia tylko komponenty z tej podprzestrzeni, jednocześnie zachowując inne ważne cechy reprezentacji semantycznej.
Ważne jest, że rozwiązanie wymaga tylko zmian w procesie dekodowania — nie trzeba przetraiwać model. Testy na popularnych benchmarkach (POPE i CHAIR, które mierzą halucynacje) wykazały, że MGAP pokonuje wcześniejsze metody, skuteczniej zwalczając hallucynacje bez utraty spójności i jakości odpowiedzi.