Naukowcy opracowali kompleksową framework do oceny halucynacji w multimodalnych dużych modelach językowych (MLLM), które są coraz bardziej wykorzystywane w krytycznych aplikacjach. Zaproponowana metoda łączy szczegółowy benchmark o nazwie UniHall z adaptacyjnym testowaniem przez fuzzing (SAMF), które systematycznie pomieszuje dane wejściowe, aby odkryć granice tego, co model może zahalucynować.
UniHall to zbiór danych z precyzyjnie kategoryzowanymi przykładami halucynacji w trzech wymiarach: obiekty, instrukcje i wiedza. Badaczom chodziło o przezwyciężenie problemu szybkiej saturacji wydajności na statycznych benchmarkach, które nie odzwierciedlają rzeczywistych scenariuszy. Self-Adaptive Multimodal Fuzzing (SAMF) automatycznie dostosowuje strategie testowania, używając ewolucyjnych mutacji oraz zespołu multimodalnych orakulów do wiarygodnej oceny dynamicznych danych wejściowych.
Wyniki ujawniają poważną rozpiętość między tym, co modele potrafią (rozumowanie) a tym, co faktycznie mogą powiedzieć (faktyczne ugruntowanie). Co bardziej niepokojące, odkryto niezamierzoną konsekwencję trenowania ze wzmacnianiem - modele stają się bardziej "posłuszne" i pomocne, ale jednocześnie bardziej skłonne do halucynacji i zgodności z instrukcjami użytkownika nawet gdy są błędne. To odkrycie ma znaczące implikacje dla bezpieczeństwa i niezawodności MLLM w medycynie, prawie i innych sektorach wrażliwych na błędy.