Naukowcy opracowali SPICE - nowy framework do interpretacji polisemantyczności w głębokich modelach wizyjnych, rozwiązując jeden z kluczowych problemów w zrozumialności sieci neuronowych. Polisemantyczność to sytuacja, gdzie pojedynczy neuron aktywuje się w odpowiedzi na wiele, często zupełnie niezwiązanych koncepcji, co utrudnia zrozumienie funkcji neuronów.
Wisząca dotychczasowych podejść polegała na tym, że były specyficzne dla danej architektury i opierały się na ręcznych ustawieniach, takich jak stała liczba klastrów koncepcji dla każdego neuronu. Ograniczało to ich skalę i ogólność, szczególnie dla nowoczesnych modeli opartych na Transformerach. SPICE eliminuje te problemy - nie wymaga architektura-zależnych reguł propagacji, automatycznie określa optymalną liczbę klastrów dla każdego neuronu i umożliwia pierwszy systematyczny porównanie polisemantyczności między CNN a Transformerami.
Badania z użyciem SPICE ujawniają, jak polisemantyczność pojawia się w sieciach, jak zmienia się na różnych poziomach głębokości i poprzez jakie odrębne ścieżki obliczeniowe się rozprzestrzenia. To ma znaczenie dla lepszego zrozumienia mechanizmów działania współczesnych modeli AI i może przyczynić się do rozwoju bardziej interpretowalnych systemów sztucznej inteligencji.