Naukowcy z IBM Research zaprezentowali ClariEdge, nowy dataset i metodę do poprawy systemów RAG poprzez automatyczne rozpoznawanie zapytań wymagających uściślenia. Problem, nad którym pracowali, dotyczy sytuacji, gdy użytkownik zadaje niejasne pytanie - albo dlatego że jest źle sformułowane w kontekście poprzedniej rozmowy, albo że w odniesieniu do pobranych dokumentów istnieje wiele równie ważnych interpretacji. System musi rozpoznać obie te sytuacje i poprosić użytkownika o doprecyzowanie, zanim spróbuje wygenerować odpowiedź.
Dataset ClariEdge zawiera około 3,9 tysiąca przykładów ze scenariuszami rozmów wielokrotnych, wraz z negatywnymi przykładami zapytań, które nie wymagają żadnego uściślenia. Kluczowym odkryciem było to, że tzw. hard negatives - trudne ujemne przykłady, gdzie zapytanie może wyglądać niejasno ale naprawdę nie jest - są absolutnie niezbędne do trenowania dokładnych modeli. Lekki model LoRA (Low-Rank Adaptation) dostrojony na tym zbiorze osiągnął imponujące 96,6% dokładności w klasyfikacji i wyraźnie przebił większe modele zarówno pod względem klasyfikacji jak i jakości generowanych próśb o uściślenie.
To jest znaczące, bo model może działać zarówno na etapie pre-retrieval (zanim dokumenty zostaną pobrane), jak i post-retrieval (po pobraniu, gdy widać konkretne dokumenty). Oznacza to, że tę samą lekką sieć można umieścić w kilku punktach pipeline'u RAG jako kontrolę przed wygenerowaniem ostatecznej odpowiedzi. Dataset jest dostępny publicznie na Hugging Face, co może znacznie ułatwić wdrażanie tego podejścia w praktycznych systemach conversacyjnych.