Naukowcy przeanalizowali, czy transformerowe modele języka rozumieją cechy lingwistyczne oceny czytelności w taki sam sposób jak tradycyjne klasyfikatory. Wykorzystując dataset ReadMe++ obejmujący arabski, angielski, francuski, hindi i rosyjski, porównali predykcje zaawansowanych modeli XLM-R oraz modelów specjalizowanych dla poszczególnych języków z wyjaśnieniami tradycyjnych podejść opartych na liczeniu cech. Za pomocą metody SHAP zidentyfikowali, które cechy napędzają klasyczne klasyfikatory, a następnie sondowali te same koncepty w sieciach neuronowych.
Wyniki pokazują, że transformery rzeczywiście reagują na te same sygnały co modele tradycyjne - długość tekstów, składnię oraz różnorodność słownictwa - i odzwierciedlają strukturę CEFR (międzynarodowy standard poziomu języka) stosowaną w modelach klasycznych. Jednak wyrównanie między podejściami jest nierównomierne: encodery specjalizowane dla konkretnych języków wykazują wyraźniejszą zgodność z metodami tradycyjnymi niż uniwersalny model XLM-R. Alignment różni się też między warstwami sieci i poszczególnymi językami.
Badanie ma znaczenie dla zaufania do ocen AI, bo wyjaśnia, czy modele głębokie faktycznie uczą się reguł definiujących trudność tekstów, czy tylko podchwytują artefakty w szumnych danych treningowych. Odkrycie, że wysoka separowalność liniowa nie zawsze implikuje rzeczywisty wpływ kierunkowy na predykcje, sugeruje ograniczenia liniowego probingu dla funkcji czytelności opartych na liczeniu, co ma konsekwencje dla interpretacji tych modeli.