Naukowcy z arXiv opublikowali głęboką analizę blok-rzadkich ekstraktorów cech (BSF), architektury zaproponowanej niedawno przez Fela i współpracowników. Model BSF różni się od tradycyjnych rzadkich autoenkoderów tym, że jego podstawową jednostką jest mała podprzestrzeń - zbiór kierunków zwanych blokiem - zamiast pojedynczego kierunku. To rozwiązanie zostało zaprojektowane z myślą o cechach żyjących w niskowymiarowych rozmaitościach (manifoldach), szczególnie powszechnych w modelach widzenia komputerowego.
Analiza ujawniła zarówno mocne strony, jak i niedostatki podejścia BSF. Mimo innowacyjnej struktury, model nadal cierpi na klasyczne problemy znane z rzadkich autoenkoderów - przede wszystkim na feature splitting (niepożądany podział pojedynczych cech na wiele współczynników) i composition (niezamierzone kombinacje cech). Odkrycia te sugerują, że przejście do struktury blok-rzadkiej nie całkowicie eliminuje fundamentalne wyzwania w ekstrakcji interpretowanychchybczych cech.
W odpowiedzi na te ograniczenia naukowcy zaproponowali kilka ulepszeń architektonicznych, z których najważniejszą jest Tournament Top-K - nowa reguła selekcji znacznie redukująca feature splitting. Ponadto rozszerzyli koncepcję blok-rzadkości na crosskodery, otwierając nowe możliwości dla interpretacyjności modeli. Praca ma potencjał wpłynąć na przyszłe projektowanie architektur do lepszego zrozumienia reprezentacji w modelach wizyjnych.