Modele świata internetowego coraz częściej przewidują konsekwencje potencjalnych działań, ale sama wiarygodna predykcja przyszłości nie gwarantuje prawidłowej decyzji bezpieczeństwa. W ewaluacji 3000 predykcji z dziesięciu otwartych modeli 86,1 procent zostało uznane za semantycznie wiarygodne, jednak ich decyzje bezpieczeństwa były problematyczne.
Wiele modeli wykazało silnie asymetryczne zachowanie - kombinowały niski wskaźnik fałszywych pozytywów (wykonanie niebezpiecznych działań) ze słabym rozpoznawaniem przypadków wymagających pytania o potwierdzenie. Modele preferowały bezwarunkowe blokowanie zamiast żądania wyjaśnień. To ujawnia nowy problem: bezpieczeństwo predykcji nie wystarczy - modele muszą zachowywać i ujawniać informacje decyzyjne potrzebne do prawidłowego rozróżnienia działań, które można wykonać, wymagają pytania lub powinny być zablokowane.
Badacze opracowali SafeWebWorld - benchmark oceniający tę bezpieczeństwo predykcyjne w pięciu domenach internetowych. Podczas fine-tuningu z protokołem aligned supervision modele poprawiały zachowanie dowodów, ale pogorszyły decyzje wrażliwe na autorytet. Aby zdiagnozować problem, wprowadzili Latent Authorisation Recovery - metodę kalibracji ujawniającą, że struktura ukryta w modelach zawiera informacje o decyzjach, choć dostęp do nich jest ograniczony i zależy od architektury.