Geometria nie równa się odporności: badanie PGD na poziomie trajektorii

Badacze przeanalizowali, czy metryki trajektorii ataku PGD rzeczywiście wskazują na siłę odporności adversarialnej modeli.Urrent praktyka oceny sprowadza się do pomiaru końcowej dokładności po ataku, co pomija zachowanie modelu podczas całej optimalizacji. Zespół badał pełne trajektorie 3000 próbek na wielu modelach CNN wytrenowanych na Fashion-MNIST, porównując modele trenowane standardowo i z adversarial training.

Wyniku pokazują hierarchię odporności między modelami, ale metryki trajektorii nie przyczyniają się równo do jej identyfikacji. Średnie trajektorie straty i wzorce wyrównania gradientów wyglądają ilościowo podobnie dla modeli adversarialnie wytrenowanych o znacznie różnych dokładnościach robust. To sugeruje, że te popularnie cytowane metryki mogą być mylące w ocenie rzeczywistej siły modelu.

W kontraście, rozkłady liczby kroków do porażki znacznie wyraźniej rozgraniczają regiony odporności, bezpośrednio odzwierciedlając funkcjonalną odporność. Badanie kwestionuje założenia stosowane w ewaluacji bezpieczeństwa i pokazuje, że geometria optymalizacyjna nie jest wystarczającym wskaźnikiem rzeczywistej odporności modelu na ataki adversarialne.