Modele Qwen3-1.7B, Qwen3-8B i Gemma-2 2B zawierają pełne wewnętrzne reprezentacje wszystkich 26 czynników prawnych z systemu CATO, który od lat służy do strukturyzowania wiedzy prawnej w oparciu o porównanie spraw. Naukowcy wykorzystali dwie metody badawcze - liniową dekodowalność i rzadką lokalizację za pomocą sparse autoencoder'ów - aby wykazać, że informacje odpowiadające tym czynnikom można precyzyjnie odczytać z aktywacji wewnątrz modeli.
Część wyników jest zaskakująca dla społeczności AI & Law. Wszystkie trzy modele osiągnęły liniową dekodowalność dla wszystkich 26 czynników, przy czym wartości AUC w najlepszych warstwach wahały się od 0,86 do 1,00. Pojedyncze cechy z rzadkimi autoencoder'ami pokryły całą katalog czynników, a pięć wybranych cech zbliżyło się do wydajności pełnego wektora. Badacze zidentyfikowali 78 specyficznych dla modelu współrzędnych warstwa-cecha, po jednej dla każdego czynnika w każdym modelu.
Wniosek rozszerza możliwości interpretacji i audytu sztucznej inteligencji w praktyce prawnej. Jeśli LLM'y naturalne odkrywają struktury prawne zbliżone do tych eksperckiego systemu, może to oznaczać, że modele uczą się rzeczywiście semantyki prawa, a nie tylko reprodukują wzorce w danych treningowych. To stwarza fundamenty do bardziej przejrzystych systemów AI w prawie, gdzie decyzje modelów mogą być wyjaśniane i weryfikowane poprzez inspekcję tych znalezionych czynników.