Anthropic opracował nową metodę interpretacji modelu Claude'a, która zamienia wewnętrzne obliczenia sieci neuronowej na czytelne dla człowieka wyjaśnienia. Innowacja nosi nazwę Natural Language Autoencoders i stanowi przełom w zrozumieniu, jak działa największy konkurent ChatGPT pod maską. Zamiast tradycyjnych podejść do interpretowalności, Anthropic stworzył system, który bezpośrednio konwertuje aktywacje neuronowe modelu na logiczne, słowne opisy jego rozumowania - to coś zupełnie innego niż dotychczasowe próby wyjaśniania decyzji AI.
Świat sztucznej inteligencji od lat boryka się z problemem czarnej skrzynki - czyli niemożnością zrozumienia, dlaczego modele podejmują konkretne decyzje. To szczególnie ważne w kontekście AI safety i budowania zaufania do zaawansowanych systemów, które mogą wpływać na rzeczywiste decyzje w medycynie, prawie czy bezpieczeństwie. Odkrycie Anthropica może zmienić tę sytuację, dając naukowcom narzędzie do faktycznego zagłębiania się w myślenie modelu na każdym poziomie jego działania. Zamiast zgadywać, co się dzieje wewnątrz sieci, będzie można po prostu zapytać - i dostać odpowiedź w naturalnym języku.
Znaczenie tego rozwiązania wykracza daleko poza czystą naukę. Możliwość wyjaśniania decyzji Claude'a mogłaby zaadresować jeden z głównych zarzutów wobec rozwoju superinteligencji - że będzie dla nas niepoznawalna i niekontrolowalna. Jeśli uda się te metody scalować na większe modele i udoskonalić, mogą one stać się fundamentem dla bardziej bezpiecznych systemów AI, w których możemy rzeczywiście zweryfikować, czy model robi to, co powinien.