Badacze przeanalizowali jak multimodalne duże modele językowe radzą sobie z niepewnością i błędami w swoim działaniu. Kiedy model musi połączyć informacje z wielu źródeł - tekstu, obrazów, wykresów, dokumentów czy nawet danych z czujników - jego błędy mogą pochodzić z wielu miejsc: słaba jakość wejścia, pomyłka w percepcji wizualnej, konflikt między tym co mówi tekst a co pokazuje obraz, lub po prostu pytanie na które nie da się odpowiedzieć na podstawie dostępnych danych.
Survey organizuje dotychczasową wiedzę wokół trzech głównych etapów: najpierw identyfikacja i pomiar źródeł niepewności poprzez analizę tokenów, logitów, sprzeczności semantycznych czy oceny ugruntowania odpowiedzi w faktach; następnie kalibracja tych sygnałów niepewności aby były wiarygodne; wreszcie wykorzystanie niepewności do podjęcia właściwej decyzji - czy udzielić odpowiedzi, wstrzymać się z odpowiedzią, poprosić o wyjaśnienie, czy eskalować pytanie do człowieka.
Kluczowy argument autorów to że niepewność nie powinna być tylko liczbą pokazującą pewność odpowiedzi, ale narzędziem które faktycznie poprawia zachowanie systemu w trudnych sytuacjach - gdy dane są niekompletne, sprzeczne, różnią się od danych treningowych lub stanowią wysokie ryzyko. To szczególnie ważne dla zastosowań gdzie błędy mogą mieć poważne konsekwencje.