Naukowcy z arXiv przeprowadzili szczegółową analizę trzech ortogonalnych czynników wpływających na działanie architektur RAG - modelu embeddingu, typu korpusu danych i oceniającego modelu AI. Odkryli fundamentalny problem: GraphRAG konsekwentnie emituje zbyt wiele referencji (11-15 na odpowiedź) przy bardzo niskiej precyzji cytowań (0.12-0.23) niezależnie od używanego embeddingu. Ten problem jest uniwersalny dla architektury i pojawia się w testach z e5-small, Azure text-embedding-3-small oraz na różnych zbiorach danych.
Ale tu zaczyna się ciekawe odkrycie - skutki over-citation są całkowicie warunkowe. Na korpusie DO-178C zawierającym wymagania bezpieczeństwa lotniczego, wiarygodność GraphRAG drastycznie spada z 74% do 40% w miarę przechodzenia między hopami pytania. Jednak na tym samym systemie na Wikipedii problem znika - wiarygodność rośnie z 42% do 58%, bo nadmiernie cytowane paragrafy pozostają tematycznie powiązane z odpowiedzią. To oznacza że problem GraphRAG nie leży w samej architekturze, ale w interakcji z typem danych.
Badanie ujawniło również kryzys wiarygodności w samej ewaluacji RAG. Gdy badacze testowali konsystencję tego samego oceniającego modelu (w tym wypadku GPT-4) na różnych embeddingach, uzyskali współczynnik kappa zaledwie 0.137 - to oznacza że model zmienia swój werdykt na 41% elementów. Mówi to wiele o tym, że obecne metody oceny systemów RAG mogą być fundamentalnie zawodne. Naukowcy argumentują że przed zaufaniem jakiemukolwiek twierdzeniu o architekturze RAG, należy ją testować właśnie takim potrójnym podejściem - zmieniając model, dane i oceniającego.