Kontrola faktyczności w wieloetapowych systemach RAG pozostaje wciąż otwartym wyzwaniem dla dużych modeli języków. Badacze testowali metodę split-conformal filtering na wieloetapowych zadaniach QA, gdzie model musi wielokrotnie wyszukać informacje i przeprowadzić rozumowanie przez zależne od siebie etapy. Okazało się, że podejście konformalne - wcześniej skuteczne w jednoetatapowym RAG - działa również tutaj, ale z istotnymi kompromisami.
Wyniki pokazują dramatyczną poprawę niezawodności: przy celu 95% pewności prawie wszystkie zatrzymane roszczenia są faktycznie wspierane dostępnymi dowodami. Jednak cena jest wysoka - system musi być bardzo konserwatywny. Przy takim progu większość oświadczeń jest odrzucana, a czasem cały system wstrzymuje się od odpowiedzi. Te dane sugerują, że aby osiągnąć wysoką pewność faktyczną w wieloetapowym RAG, trzeba zaakceptować znaczne zmniejszenie pokrycia - co stanowi praktyczną wadę dla systemów wymagających zawsze coś powiedzieć.
Badanie ma znaczenie dla budowy niezawodnych systemów QA, szczególnie w domenach, gdzie błędy faktyczne są kosztowne. Pokazuje, że nie ma darmowych obiadów - poprawa faktyczności i wiarygodności wymaga wyboru między kompletną odpowiedzią a odpowiedzią pewną siebie.