ElementCheck to nowe podejście do oceny wiarygodności długich tekstów generowanych przez modele AI, które znacznie lepiej radzi sobie z istniejącymi wyzwaniami w factcheckingu. Zamiast tradycyjnego podejścia rozbijającego zdania na atomowe twierdzenia, system wyodrębnia pary encji jawnie połączone weryfikowalnymi relacjami w oryginalnym zdaniu i organizuje je w graf elementów.
Główną innowacją jest świadomość złożoności. Topologia wykresu elementów dostarcza informacji strukturalnych do oceny, jak skomplikowane jest dane zdanie. Proste zdania mogą być weryfikowane bezpośrednio i szybko, podczas gdy zdania o wysokiej złożoności przechodzą przez bardziej szczegółową analizę na poziomie elementów z ukierunkowaną weryfikacją. To podejście rozwiązuje problemy starszych metod - zmniejsza szum wynikający z rozkładu zdań i eliminuje problem stałej granularności weryfikacji.
Badacze stworzyli nowy benchmark o nazwie FastFact-Sent, mapując odizolowane twierdzenia z FastFact-Bench z powrotem do zdań źródłowych. Eksperymenty na trzech benchmarkach, w tym dwóch specjalizowanych w konkretnych domenach, wykazały że ElementCheck konsekwentnie poprawia dokładność weryfikacji factualności dla pięciu różnych modeli backbone. System utrzymuje też korzystny balans między dokładnością a kosztem obliczeniowym, a dalsze analizy pokazują, że weryfikacja uwzględniająca złożoność zmniejsza niepotrzebne ponowne sprawdzenia i zachowuje stabilność wyników niezależnie od stosowanego modelu.