Nowe badania pokazują, że wzbogacanie tekstu o strukturę lingwistyczną niekoniecznie poprawia możliwość wykrywania jego niespójności. Zespół badaczy testował, czy dodanie syntaktycznych i retorycznych informacji do zwykłych tekstów zwiększy dokładność modeli AI w przewidywaniu braku logicznej spójności - problemem, który czasem pojawia się u zaawansowanych modeli języka mimo ich płynności i gramatycznej poprawności.
Wyniki eksperymentów okazały się zaskakujące. Zwykłe teksty bez dodatkowych oznaczeń strukturalnych uzyskały wyższą dokładność niż wersje wzbogacone. Przyczyna leży w tym, że dodatkowe informacje były strukturalnie i syntaktycznie niezgodne z architekturą współczesnych modeli języka - zamiast pomagać, wprowadzały szum do procesu uczenia.
Badacze wykazali jednak praktyczne znaczenie oceny spójności, przeprowadzając eksperymenty zero-shot na brazylijskim zbiorze danych dotyczących dezinformacji. Okazało się, że spójność tekstowa może służyć jako wskaźnik do wykrywania treści wprowadzających w błąd. Sugeruje to, że proste miary spójności mogą być wartościowym narzędziem do walki z fałszywymi informacjami w sieci.