Badacze przekształcili model LLaMA 3 o rozmiarze 8 miliardów parametrów w efektywny reranker dla pipelineów RAG, zastępując tradycyjne cross-encodery, które charakteryzują się quadratyczną złożonością obliczeniową utrudniającą wdrażanie w rzeczywistych systemach. Podejście opierało się na dwustopniowym procesie: najpierw przeprowadzili supervised fine-tuning na niestandardowym zbiorze danych zawierającym pary zapytań i dokumentów, korzystając z frameworku Unsloth i adapterów LoRA, następnie zastosowali 4-bitową kwantyzację w celu dalszego zmniejszenia obciążenia obliczeniowego.
Zoptymalizowany model zintegrowano z dual-retriever RAG pipeline'em łączącym algorytm BM25 z wyszukiwaniem wektorowym, a następnie oceniono na domenie specjalistycznej przy użyciu frameworku RAGAS. Wyniki były imponujące - LLaMA 3 wykazał wzrost o 14 procent w relevancy odpowiedzi, 16 procent w context precision, 19 procent w answer similarity i 21 procent w answer correctness w porównaniu z baseline'em cross-encodera. Jednocześnie znacznie zmniejszyć się udało infrastrukturalne koszty inferencji dzięki kwantyzacji.
To badanie pokazuje, że modele LLM wytrenowane na instrukcjach mogą być efektywnie adaptowane jako reankery bez ponoszenia kary w postaci quadratycznej złożoności tradycyjnych cross-encoderów. Praktyczne znaczenie jest duże - rozwiązanie umożliwia deployment'owanie zaawansowanych systemów RAG w aplikacjach wymagających szybkiej odpowiedzi, przy jednoczesnym zachowaniu wysokiej jakości rerangowania dokumentów.