Skoordynowany szum w sieciach neuronowych poprawia odporność na ataki

Naukowcy z arXiv zajęli się zagadką, którą biologia postawiła sztucznej inteligencji: jeśli szum w neurobiologicznych systemach ma znaczenie, dlaczego by nie miał go w sieciach neuronowych? Wykazali, że celowo wprowadzony, skoordynowany szum do warstw sieci poprawia jej odporność zarówno na adversarial attacks, jak i na naturalne modyfikacje obrazów.

Na poziomie biologicznym neurony w mózgu wykazują dużą zmienność od próby do próby, podczas gdy neurony czuciowe na obwodzie odpowiadają znacznie bardziej konsekwentnie. To zasugerowało badaczom, że ten szum może być bardziej niż przypadkowym artefaktem. W swojej pracy przeanalizowali, jak struktura szumu — czyli korelacje pomiędzy aktywacjami neuronów — wpływa na odporność sieci. Kluczem było zbadanie kowariancji aktywacji w sytuacjach, gdy sieć przetwarza zaatakowane versus czyste obrazy.

Wyniki pokazują, że szum strukturalny ma wpływ — przy czym jego skuteczność zależy od typu zagrożenia. Struktura szumu optymalna dla obrony przed naturalnymi zniekształceniami obrazów nie przenosi się dobrze na inne typy modyfikacji. Natomiast szum dostrojony do ataków adversarial generalnie przenosi się na inne warianty ataków. To sugeruje, że istnieje uniwersalny mechanizm: skoordynowany szum w ANN poprawia robustness, a zarazem takie podejście jest biologically plausible — wymaga tylko lokalnych informacji dostępnych w konkretnych warstwach sieci.