Naukowcy z arXiv CS.AI opracowali nowe podejście do rozumowania medycznego, które znacząco poprawia wyniki dużych modeli językowych na trudnych zadaniach biomedycznych. Kluczowa innowacja polega na zewnętrznym systemie CHALLENGER, który analizuje ewoluujący przebieg rozumowania i identyfikuje konkretne luki w wiedzy fachowej lub faktach zamiast opierać się wyłącznie na oryginalnym pytaniu.
Metoda challenge-aware adaptive recruitment działa poprzez dwie główne komponenty: celowe pobieranie wiedzy w trakcie dyskusji oraz dynamiczną rekrutację specjalistów. W testach na zbiorze MEDAGENTSBENCH z 862 pytaniami obejmującymi dziewięć biomedycznych datasetów wykazano, że pobieranie wiedzy na starcie przynosi niewielkie korzyści, natomiast interwencje w trakcie rozumowania są znacznie bardziej efektywne. Przy wielospecjalistycznym backbone system ulepszył dokładność w 8 z 9 datasetów i dodał 6 punktów procentowych nad wersję zawierającą sam CHALLENGER.
Najważniejszy rezultat dotyczy rekrutacji specjalistów: podczas gdy samoaktywująca się adaptacja okazała się zawodna, rekrutacja wyzwalana przez CHALLENGER podniosła dokładność GPT-4.1-mini na zestawie MedQA z 46 do 54 procent. Badacze zauważyli jednak, że naiwne połączenie pobierania wiedzy i rekrutacji specjalistów pogorsza wyniki, co wskazuje na potrzebę precyzyjnej koordynacji interwencji adaptacyjnych. Eksperymenty z live web-search potwierdzają, że przewaga czasowania utrzymuje się niezależnie od źródła wiedzy.