Naukowcy odkryli, że w systemach multimodalnych łączących tekst i obrazy pozytywne i negatywne sygnały mogą się wzajemnie neutralizować w trakcie dekodowania, co prowadzi do zupełnie nieoczekiwanych wyników. To zjawisko, które badacze określili mianem "iluzji", stanowi poważny problem dla modeli AI generujących zawartość na podstawie połączonych źródeł informacji. Gdy model otrzymuje sprzeczne sygnały z różnych modalności - na przykład obraz pokazujący coś pozytywnego, a tekst opisujący scenę negatywnie - może dojść do sytuacji, w której oba te sygnały się znosząc, prowadzą do całkowicie mylnych przewidywań. Badanie wyjaśnia, dlaczego czasami generowane przez AI opisy lub klasyfikacje wydają się logicznie niespójne lub rozmijają się z rzeczywistością zawartą w danych wejściowych.
To odkrycie ma znaczenie zarówno dla jakości istniejących systemów multimodalnych, jak i dla przyszłego rozwoju tej technologii. Oznacza, że architektura współczesnych modeli - takich jak te łączące wizję komputerową z przetwarzaniem języka naturalnego - może mieć zasadnicze słabości w procesie integracji informacji z różnych źródeł. Naukowcy wskazują, że potrzebne są nowe podejścia do projektowania i trenowania takich systemów, aby lepiej zarządzać interakcjami między sygnałami z tekstu i obrazu. Bez tych zmian modele AI mogą pozostawać podatne na tego rodzaju "złudzenia", co obniża ich wiarygodność w praktycznych zastosowaniach, od medycyny po handel elektroniczny.