Naukowcy zaprezentowali nową metodę Ladderpath do analizy struktur w sekwencjach tekstowych, opartą na Algorytmicznej Teorii Informacji. Metoda wyodrębnia zagnieżdżone i hierarchiczne relacje między powtarzającymi się podstrukturami w tekście, opisując je poprzez minimalne programy generujące - kluczową ideę z teorii kompresji danych.
Na podstawie reprezentacji Ladderpath zdefiniowano trzy miary odległości: znormalizowaną odległość kompresyjną (NCD) oraz dwie alternatywne metryki. Wszystkie trzy podejścia, połączone z klasyfikatorem k-nearest neighbor, osiągają silne wyniki w testach klasyfikacji tekstowej - zarówno na danych standardowych, jak i spoza domeny uczenia, a także w scenariuszach z ograniczoną ilością przykładów. Co ważne, wszystkie trzy metody Ladderpath przewyższają popularną metodę gzip-based NCD oraz samo BERT w warunkach out-of-distribution i przy małych zasobach danych.
Znaczenie tego podejścia polega na tym, że oferuje lekką alternatywę dla tradycyjnych modeli transformatorowych. Metoda nie wymaga uczenia, jest interpretowalna i opiera się na zasadach teoretycznych z Algorytmicznej Teorii Informacji. Wyniki sugerują, że reprezentacje strukturalne wychwytywane przez Ladderpath zachowują głębokie właściwości sekwencji tekstowych, co mogłoby otworzyć nowe drogi dla niezależnych od domeny podejść do rozumienia tekstu.