Badacze rozszerzyli benchmark PubHealthBench zawierający 7929 pytań z oficjalnych wytycznych zdrowotnych rządu brytyjskiego, wprowadzając do niego retrieval-augmented generation. Systematycznie porównali gęste, rzadkie i hybrydowe metody wyszukiwania, wykazując że podejście hybrydowe konsekwentnie poprawia recall i jakość rankingu odpowiedzi.
Głównym problemem LLM w medycynie są halucynacje - model wymyśla fałszywe informacje. RAG rozwiązuje ten problem gruntując odpowiedzi w wyraźnie utrzymywanym corpus wiarygodnych źródeł zamiast polegać na danych treningowych. Gdy przekazano modelowi pobrany kontekst, dokładność na pytaniach wielokrotnego wyboru wzrosła u wszystkich testowanych LLM. Mniejsze modele open-weight mogły wtedy dorównać większym modelom komercyjnym, przy czym większość poprawy pochodziła z jakości wyszukiwania i starannego wyboru kontekstu.
Badacze stworzyli też rubryk do ewaluacji opartej na LLM-as-a-judge obejmujący wierność wobec faktów, kompletność, przejrzystość i spójność logiczną. To podejście pozwala oceniać realistyczne odpowiedzi otwarte poza prostymi testami wielokrotnego wyboru i validuje się względem ręcznych adnotacji. Badanie ma kluczowe znaczenie dla implementacji AI w słuzbie zdrowia, gdzie przesładność, aktualizacja informacji i brak wymyśleń są krytycznym wymaganiem.