ToE: Framework do weryfikacji twierdzeń z dynamicznym pobieraniem wieloźródłowych dowodów

Badacze z arXiv opublikowali Tree of Evidence (ToE), hierarchiczny framework do automatycznej weryfikacji faktów, który modeluje każde twierdzenie jako dynamicznie rozwijające się drzewo argumentów. System łączy agenta pobierającego dowody oparty na reinforcement learning, agenta oceniającego wiarygodność oraz algorytm agregacji drzewa argumentów, aby iteracyjnie rozkładać, pobierać i weryfikować twierdzenia poprzez wytłumaczalny łańcuch dowodów.

ToE odpowiada na rosnący problem rozprzestrzeniania się dezinformacji, szczególnie AI-generowanych fałszywych wiadomości maskowanych poprzez Generative Engine Optimization (GEO) - technikę zatruwającą dane treningowe LLM-ów poprzez systematyczne wyświetlanie adversarialnie przygotowanych treści w wynikach wyszukiwania. Framework operuje na założeniu, że złożone twierdzenia muszą być rozkładane na mniejsze, weryfikowalne stwierdzenia, a następnie łączone w spójną ocenę wiarygodności.

Eksperymenty na wielu zbiorach danych i różnych modelach backbone LLM wykazały, że ToE osiąga poprawę od 4 do 24 punktów procentowych wobec konkurencyjnych rozwiązań, z szczególnie wyraźnymi zyskami na zatruwanych adversarialnie danych. Autorzy zapewniają też teoretyczną analizę procesu pobierania z formalnym oszacowaniem błędu gwarantującym zbieżność nauczanej polityki do optimum teoretycznego.