Badacze z Anthropic opracowali narzędzie zwane soczewką Jacobiana, które pozwoliło im zaglądać głębiej w mechanizmy działania modeli językowych. Odkryta przez nich przestrzeń zwana J-space znajduje się wewnątrz Claude Opus 4.6 i zawiera indywidualne słowa ściśle związane z tym, co model będzie generować w odpowiadającej odpowiedzi. Innymi słowy, monitorując słowa pojawiające się w J-space, można zobaczyć, o czym rozmiśla Claude, zanim jeszcze wypowie odpowiedź.
To odkrycie ma znaczące implikacje dla zrozumienia i kontroli dużych modeli językowych. Okazało się, że to, co LLM faktycznie robi w swoich wewnętrznych procesach, znacznie różni się od tego, co deklaruje że robi. Anthropic twierdzi, że monitoring J-space daje im nowy sposób na zrozumienie i kontrolę swoich modeli. Wyniki badań zostały opublikowane w artykule naukowym, a firma współpracuje z platformą Neuronpedia, aby udostępnić interaktywną demonstrację, którą każdy może wypróbować.
To badanie kontynuuje wysiłki Anthropic z ostatnich lat mające na celu przesunięcie granic interpretacyjności sztucznej inteligencji. Eksperci z branży, w tym Tom McGrath z startup'u Goodfire zajmującego się podobnymi zagadnieniami, pozytywnie oceniają znaczenie pracy. Zdolność zaglądania do wewnętrznych mechanizmów modeli może być kluczowa dla rozwoju bardziej bezpiecznych i przewidywalnych systemów AI.