Nick Cammarata z firmy Goodfire przedstawił pracę sugerującą, że sieci neuronowe są już czyste - innymi słowy, że wiele znanych problemów związanych z polisemantyczością i superpozycją, czyli zawiłymi strukturami wag opierającymi się interpretacji, w rzeczywistości rozpada się pod naciskiem bardziej zaawansowanej analizy agentów. To stanowi znaczący przesunięcie w myśleniu o strukturze modeli neuronowych i możliwościach ich badania.
Polisemantyczność i superpozycja były długo uważane za fundamentalne wyzwania w interpretowalności AI - chodziło o przypadki, gdzie neurony kodują wiele różnych koncepcji jednocześnie, tworząc splątane węzły parametrów, które ludzie nie potrafili rozpracować. Goodfire i Anthropic prowadzili zaawansowane badania nad skalowaniem metod interpretowalności, a ten nowy essay sugeruje znaczący przełom w tym kierunku.
Jesli się potwierdzą te obserwacje, mogą one mieć fundamentalne znaczenie dla alignment i bezpieczeństwa AI - jeśli sieci neuronowe okazują się bardziej przejrzyste i mniej zawiłe niż zakładano, otwiera to nowe ścieżki do zrozumienia jak działają i jak zapewniać ich bezpieczne operowanie. To wyjaśnia, dlaczego społeczność obserwuje globalny spadek pesymistycznych prognoz (P doom) - pojawia się realna nadzieja na rozwiązanie długowiecznego problemu czarnej skrzynki w deep learningu.