Zespół badawczy zaproponował CircuitTree - nową metodę do komponowania wielu interpretowalnych podsieci (circuits) w jeden spójny model zdolny do wykonywania złożonych zadań. Zamiast naiwnie łączyć obwody, naukowcy opracowali algorytm greedy ze skalowaniem gęstości, który unika konfliktów i redundancji powstających przy zwykłej unii obwodów.
Artykuł demonstruje praktyczne zastosowanie na zadaniu transkrypcji sylab. Badacze wyekstrahowali 39 odrębnych obwodów z modelu HuBERT, każdy nauczony klasyfikować pojedynczy fonem. Żaden z tych obwodów samodzielnie nie potrafiłby zaklasyfikować sylaby - ta zdolność pojawia się dopiero przy komponowaniu w hierarchiczną strukturę CircuitTree. Ostateczny model osiągnął 64,8 procent dokładności na przetwarzaniu sylab otwartych, zaledwie 1,2 punktu poniżej modelu baseline, który nie dzielił żadnej circuitry.
Signifikantne jest, że system utrzymywał 99,5 procent wspólnych komponentów między obwodami, co dowodzi efektywności podejścia modułowego. Badania nad circuit discovery stają się coraz ważniejsze dla AI safety i interpretability - rozkład sieci neuronowych na zrozumiałe, identyfikowalne podkomponenty otwiera drogę do głębszego rozumienia, jak działają złożone modele i gdzie mogą zawodzić. CircuitTree pokazuje, że zamiast traktować duże modele jako czarne skrzynki, można je dekompozycji na semantycznie znaczące części.