DecisionRobust to nowy benchmark stworzony do systematycznej oceny odporności modeli decyzyjnych na adversarialne ataki w zadaniach tekstowych i wizyjnych. Modele JEV, które mapują instrukcje zadań bezpośrednio na wybory i oceny, są coraz bardziej wykorzystywane do zautomatyzowanego podejmowania decyzji, ale brakuje im kompleksowych testów bezpieczeństwa. Benchmark obejmuje praktyczne scenariusze decyzyjne i zróżnicowany zestaw ataków - od zaburzeń tekstu zachowujących sens po perturbacje obrazów i injection promptów w obu modalnych.
Badacze ewaluowali 30 konfiguracji modeli na tekstowe zadania decyzyjne i 17 na wizyjne, z czego odpowiednio 24 i 12 modeli było wykluczonych z procesu wyboru kandydatów dla niezależnej oceny. Eksperymenty ujawniły kilka istotnych spostrzeżeń. Po pierwsze, zaproponowane ataki wykazują luki bezpieczeństwa poza modelami użytymi do konstruowania benchmarku, choć zoptymalizowane perturbacje obrazów słabo transferują się na wiele innych celów nawet z wieloma modelami zastępczymi. Po drugie, względna odporność modeli zmienia się w zależności od typu zadania i ataku.
Kluczowym odkryciem jest to, że odporność na zaburzenia wejścia nie implikuje automatycznie odporności na prompt injection. Kontrole spójności etykiet znacznie zmniejszają mierzone wskaźniki sukcesów ataków w ustawieniach tekstowych i obrazowych, co podkreśla znaczenie weryfikacji wewnętrznej dla poprawy niezawodności systemów decyzyjnych. Badanie sygnalizuje potrzebę bardziej rygorystycznych testów bezpieczeństwa dla modeli używanych w automatycznych procesach decyzyjnych.