R2VC: Modułowa weryfikacja faktów z pozyskiwaniem, rozumowaniem i kalibracją pewności

Naukowcy przedstawili R2VC - nową architekturę do weryfikacji faktów, którą dzieli na cztery wyraźne moduły zamiast korzystać z end-to-end promptingu modeli językowych. System łączy hybrydowe wyszukiwanie sparse-dense w Wikipedii, nadzorowany generator fine-tunowany metodą DPO, zewnętrzny cross-encoder do naturalnego wnioskowania (NLI) dla selekcji kandydatów oraz lekki kalibracyjny moduł na poziomie sekwencji dla estymacji pewności i abstencji.

Wyniki pokazują znaczną poprawę w stosunku do podejść baseline - model 8B z R2VC uzyskał 13,74 procent wyższą dokładność na benchmarku FEVER. Kluczowe ustalenia z badań ablacyjnych wskazują, że weryfikacja oparta na cross-encoderze i kalibracja pewności to najwięksi kontrybutorzy do poprawy wydajności. Usunięcie selekcji kandydatów spadło dokładność do 76,24 procent, a brak kalibracji prawie podwoił score Brier'a do 0,161.

Manualnie przeanalizowane 250 błędów ujawniło jednak, że pozyskiwanie dowodów pozostaje głównym wąskim gardłem systemu - szczególnie problematyczne są przypadki, gdy model pobiera informacje o niewłaściwych encjach. Modularna architektura R2VC umożliwia precyzyjne diagnozowanie przyczyn porażek w każdym etapie i pozwala na bardziej wiarygodne oszacowania pewności, co jest kluczowe dla praktycznych zastosowań weryfikacji faktów w otwartych domenach.