RAGCompass to nowy system routingu dla retrieval-augmented generation, który rozwiązuje fundamentalny problem: żaden pojedynczy retriever nie radzi sobie najlepiej dla wszystkich zapytań. Zamiast podejmować decyzje na podstawie samej treści zapytania, RAGCompass analizuje faktycznie zwrócone fragmenty tekstu, porównując je bezpośrednio niezależnie od tego, skąd pochodzą.
Tradycyjne routery mają wbudowaną słabość - działają tylko z wcześniej zdefiniowanym zestawem retrieverów i zawodzą na nieznanych modelach lub nowych zbiorach danych. RAGCompass omija ten problem poprzez przerankowywanie oparte na contrastive fine-tuning względem odpowiedzi generowanych przez każdy zbiór fragmentów. Architektura nie zawiera parametrów specyficznych dla retrieverów, co pozwala jej generalizować się naturalnie. Dodatkowy porównujący moduł głowicy zapewnia dalszą poprawę wydajności.
Wyniki są imponujące: 28-procentowa względna poprawa wyniku F1 wobec najlepszego stałego retrievera, przewaga nad podejściami fuzji oraz trzema query-only routerami i nawet promptowanym modelem 8B. Testy generalizacji pokazują, że RAGCompass zachowuje większość swoich zysków przy nieznanym korpusie, retrieverze lub czytniku, podczas gdy baseline'y oparte na samych zapytaniach spadają do poziomu najlepszego stałego retrievera lub poniżej. To nie tylko praktyczne rozwiązanie, ale też fundamentalny krok ku bardziej elastycznym systemom RAG.