Naukowcy z arXiv wykazali, że do weryfikacji twierdzeń w retrieval-augmented generation lepiej sprawdza się niedemonstracyjny model decyzyjny niż frontier LLM. Zadanie sprowadza się do jednego bitu informacji - czy dane źródło wspiera dane twierdzenie - a jednak większość pipeline'ów płaci pełną cenę za tekst generowany przez duże modele. Zespół porównał system Jev, zwracający typowaną wartość z deklarowanej enumeracji i natywne prawdopodobieństwo bez tekstu, z frontier LLM skonfigurowanym jako binarny klasyfikator. Testowali na zbiorze LLM-AggreFact.
Wyniki były zaskakujące. Oba systemy uzyskały statystycznie nieodróżnialne wyniki na konwencjonalnej metryce - różnica zaledwie 0,56 punktu - ale przy 187-krotnie niższych kosztach dla Jeva. To jednak ukrywa ważne szczegóły: systemy różniły się w 15,2% przypadków, a tańszy model Jev błędnie zaakceptował 23,2% twierdzeń oznaczonych jako nieudowodnione, wobec 14,1% dla frontier modelu. Do weryfikacji niepopartych roszczeń ta różnica ma rzeczywiste znaczenie.
Kluczowe odkrycie dotyczy kompozycji: architektura kaskadowa, gdzie Jev obsługuje pewne przypadki a frontier LLM eskaluje wątpliwe, osiągnęła 74,10 punktów przy 2,92 USD na tysiąc weryfikacji, podczas gdy sam frontier model uzyskał 73,83 przy 8,93 USD. Paginowanie progu eskalacji przeprowadzono poza próbą treningową. Badanie zmienia perspektywę na koszty systemów RAG i sugeruje, że dla celów decyzyjnych lepiej jest używać specjalizowanych modeli zamiast płacić za generatywne możliwości, które w danym zadaniu są niepotrzebne.