Naukowcy opracowali nowy sposób na ocenę podatności modeli wizyjnych na powtarzane kwestionowanie. Just Keep Prompting to framework testujący, jak modele Vision-Language utrzymują swoją pozycję, gdy użytkownik przez 10 tur kolejno kwestionuje, zaprzecza lub poddaje w wątpliwość ich odpowiedzi. Badanie przetestowało GPT-4o, Gemini 2.5 Pro i Qwen3-VL-30B na zadaniach wzrokowego rozumowania ze zboru STAR w 720 wieloturowych przebiegach.
Mechanizmy testowania były trzy: Adversarial Negation polegająca na powtarzanym odrzuceniu odpowiedzi, Pure Socratic Interrogation czyli wielokrotne proszenie o ponowne rozważenie pewności, oraz Context-Aware Socratic Summarization odbijająca wcześniejszy tok rozumowania modelu przed ponownym wezwaniem. Wyniki pokazały, że chociaż dokładność ogółem zmieniła się nieznacznie między turem 0 a turem 10, szczegółowa analiza trajektorii ujawniła ogromną niestabilność: poprawne odpowiedzi regresowały, błędne odpowiedzi się regenerowały, a wiele przebiegów charakteryzowało się wielokrotnym przełączaniem się między odpowiedziami.
Znaczenia różniły się drastycznie między modelami. Qwen3-VL-30B osiągnął najwyższą ostateczną dokładność, ale zaczął pewnie się mylić pod bezpośrednią sprzeciwem. Gemini 2.5 Pro okazał się porównawcze stabilny, choć drogi w eksploatacji tokenowej. GPT-4o wykazał się największą kruchością i oscylacyjnością. Badanie ujawnia, że ocena wieloturowa modeli VLM to nie tylko pomiar dodatkowego rozumowania, ale także ocena odporności na presję konwersacyjną.