Naukowcy z arXiv opublikowali metodę Evidence Chain Evaluation (ECE), która zmienia podejście do weryfikacji faktów przez sztuczną inteligencję poprzez wprowadzenie możliwości abstencji zamiast zmuszania modelu do binarnego wyboru między "prawda" a "fałsz". System zbiera dowody przez wyszukiwanie internetowe, bazy naukowe i sprawdzenia automatyczne, a następnie zwraca verdict ze wskazaniem pewności i metadanymi źródłowymi.
Problemy, które ECE rozwiązuje, są poważne z punktu widzenia bezpieczeństwa AI. Tradycyjne systemy fact-checkingowe osiągają wysoką dokładność, ale ukrywają krytyczny problem: modele wydają pewne orzeczenia nawet wtedy, gdy dostępne dowody są słabe, rozmieszczone rzadko lub wewnętrznie niespójne. To tworzy fałszywą pewność, która może być niebezpieczna dla użytkowników polegających na takich systemach.
W benchmarku ECE-Bench nowa metoda osiąga 91,6% standardowej dokładności i 97,8% dokładności na przypadkach, które faktycznie podjęła do oceny, przy jednoczesnym odroczeniu odpowiedzi w 6 z 95 przypadków. Kluczowe obserwacje pokazują, że system wstrzymuje się właśnie wtedy, gdy źródła mają niskie wskaźniki wiarygodności. To potwierdza, że mechanizm abstencji pełni rolę bezpiecznika dla słabo udokumentowanych twierdzeń, zamiast zmuszać system do ryzykownego zgadywania.