Naukowcy z arXiv.org opublikowali pracę dotyczącą fundamentalnego problemu w modelach RAG - sytuacji, gdy pozyskany kontekst koliduje z wiedzą przechowywana przez sam model. Dotychczasowe podejścia rozwiązywały ten konflikt za pomocą prostych reguł ustalonych na etapie projektowania: całkowicie ufać kontekstowi, wzmacniać go proporcjonalnie lub kierować się wiedzą modelu. Problem polega na tym, że każda taka reguła jest confidently wrong w pewnych warunkach wdrożenia.
Badaczy wykazali za pomocą analizy decyzyjno-teoretycznej, że score dowolnej stałej reguły jest liniowo zależny od udziału wiarygodnych kontekstów, podczas gdy najlepszy osiągalny wynik jest funkcją wypukłą. To oznacza, że każda sztywna reguła jest zdominowana wszędzie tam, gdzie nie jest dokładnie optymalna. Dodatkowo odkryli, że symetryczna rozbieżność między źródłami - sygnał wykorzystywany w istniejących metodach - nie nosi żadnych informacji o tym, które źródło ma rację.
Rozwiązaniem jest zmiana paradygmatu: zamiast wybierania zwycięzcy, system powinien posiadać dwa kluczowe elementy, które dotychczasowe metody ignorują - dowody na niezawodność każdego źródła osobno oraz prior na temat tego, jak często kontekst jest rzeczywiście poprawny. Naukowcy testowali swoje tezy na benchmarku GRACE, który interwencyjnie modyfikuje kontekst grafu wiedzy, umożliwiając zmierzenie osobno tego, co wie model, co mówi kontekst i co jest rzeczywistością. Wyniki potwierdzają, że każda metoda z czterech badanych rodzin jest silna albo na poprnych kontekstach, albo na błędnych - nigdy na obu naraz.