Wąskim gardłem RAG jest wyszukiwanie, nie czytanie - nowe podejście do ewaluacji generowania

Naukowcy z MIT i innych instytucji zaproponowali nową metodę oceny retrieval-augmented generation o nazwie evidence-based generation, która wymaga od modeli AI zwracania odpowiedzi z linia-po-liniowych cytatów z dokumentów źródłowych. To pozwala wychwycić problemy niewidoczne dla tradycyjnych metryk - systemy mogą podawać poprawne odpowiedzi bez poprawnego uzasadnienia lub ze słabymi cytowaniami. Stworzyli nowe benchmarki: MultiHop-RAG i QASPER-MP (multi-paper adaptation QASPER), oraz testowali dziesięć frontier modeli proprietary i trzy open-weight LLMy.

Główne odkrycie: wąskim gardłem RAG jest nie czytanie dokumentów, ale ich wyszukiwanie. Modele borykają się szczególnie z zapytaniami wymagającymi informacji z wielu fragmentów tekstu. Tradycyjne podejście oparte na wyszukiwaniu przez podobieństwo łatwo znajduje jakichkolwiek istotny fragment, ale znacznie trudniej mu znaleźć wszystkie wymagane fragmenty jednocześnie. Ponadto dzielenie dokumentów na chunks powoduje utratę ważnych metainformacji - takich jak powiązania między częściami tekstu czy informacje o autorze - które są niezbędne do poprawnego rozwiązania zapytań wymagających identyfikacji podmiotów.

Badanie ukazuje lukę między ocenami bazującymi wyłącznie na poprawności odpowiedzi a wspólnymi metrykami Ans+Evid, która się powiększa, gdy parametryczna wiedza modelu koliduje z kontekstem. Dane i kod badania zostały udostępnione na GitHubie, co otwiera drogę dla dalszych prac nad ulepszoną architekturą RAG.