Duże modele językowe zadomowiły się w medycynie, ale pytanie czy rzeczywiście potrafią wspierać kliniczne rozumowanie pozostało długo bez odpowiedzi. Nowe badanie z arXiv proponuje praktyczną mapę tego terenu - łączy ono rzeczywiste potrzeby lekarzy z możliwościami obliczeniowymi modeli AI. Autorzy stworzyli schemat pięciu poziomów kompetencji medycznych, przechodzący od prostego przypominania faktów, aż po dynamiczne zarządzanie przypadkami pacjentów.
Testowaniu poddano 18 najnowszych modeli, zarówno specjalistycznych mediycznie, jak i ogólnych. Wyniki były zaskakujące - modele specjalistyczne takie jak MedPaLM czy specjalizowane wersje GPT dobrze radzą sobie z diagnozowaniem, jednak w bardziej złożonych scenariuszach wsparcia decyzyjnego i prowadzenia dialogu z pacjentami lepiej wypadają większe, ogólne modele. Badacze zastosowali rozmaite wzorce rozumowania - dedukcyjne, indukcyjne i abdukcyjne - aby zmapować to jak modele podchodzą do problemów medycznych.
Praca ujawnia jednak poważne problemy. Halucynacje modeli - wymyślanie faktów medycznych - pozostają realnym zagrożeniem dla bezpieczeństwa. Brakuje też wystarczającej ilości wysokiej jakości danych treningowych specyficznych dla medycyny, a modele często brakuje zdolności właściwego uziemienia swoich odpowiedzi w rzeczywistym kontekście klinicznym. Badanie wskazuje na potrzebę bardziej praktycznych, wdrażalnych systemów zamiast tylko bardziej zaawansowanych modeli.