Anthropic, obecnie najwartościowsza firma zajmująca się sztuczną inteligencją z wyceną bliską biliona dolarów, ogłosił ostatnio nowe odkrycie dotyczące wglądu w wewnętrzne procesy myślowe swoich modeli AI podczas rozumowania.
Badania Anthropica skupiają się na mechanistycznej interpretowalności - dziedzinie, w której inwestują więcej zasobów niż inne firmy z sektora AI. Chodzi o rozeznanie się w złożonej matematyce modelu, aby zrozumieć, dlaczego wyprodukuje on konkretny wynik zamiast innego. To niezwykle skomplikowana praca - miliony punktów danych mogą przyczynić się do każdego rezultatu. Jednak badania Anthropica mają znacznie szerszy kontekst: firma znana jest z eksperymentów takich jak badanie, czy modele AI mogą odczuwać ból, czy też przerywania rozmów chatbota, gdy podejrzewa nadużywanie modelu.
Odkrycie wzbudza jednak poważne dyskusje wśród ekspertów. Krytyka skupia się na tym, że opisywanie zachowań AI przy użyciu terminów pożyczonych z psychologii i neuronauki może sprawiać, że działanie modeli wydaje się bardziej zaawansowane niż jest w rzeczywistości. To filozoficzne pytanie pozostaje nierozstrzygnięte - czy rzeczywiście podglądamy myślenie modelu, czy raczej projektujemy naszą interpretację na matematyczne wzory. Badania są ważne dla postępu w zrozumieniu AI, ale wymagają ostrożnego podejścia do interpretacji wyników.