Zespół badaczy opublikował przegląd dotyczący zastosowania dużych modeli językowo-obrazowych w medycynie, łącząc kliniczne potrzeby z możliwościami obliczeniowymi sztucznej inteligencji. Badanie skupia się na tym, jak LLM mogą wspierać medyczne rozumowanie - od prostego przypominania faktów medycznych aż po złożone scenariusze zarządzania przypadkami pacjentów.
Naukowcy zaproponowali innowacyjny podział na dwie perspektywy: kliniczną i obliczeniową. Ze strony medycznej ustanowili pięciostopniowy schemat kompetencji bazujący na piramidzie Millera, która tradycyjnie mierzy umiejętności medyczne od najbardziej podstawowych (wiedza) do najbardziej zaawansowanych (dynamiczne działanie w warunkach niepewności). Obliczeniowo powiązali różne typy rozumowania - dedukcyjne, indukcyjne i abdukcyjne - z rzeczywistymi zadaniami medycznymi. Następnie testowali 18 estado-of-the-art modeli na benchmark'ach obejmujących wszystkie pięć poziomów medycznego rozumowania.
Wyniki ujawniły interesujący podział: modele wytrenowane specjalistycznie do zadań medycznych wypadły zdecydowanie lepiej w diagnostyce, natomiast ogólne LLM pokazały przewagę w wspieraniu decyzji klinicznych i prowadzeniu dialogu z pacjentami. Badanie podkreśla jednak, że droga do rzeczywistego wdrażania tych systemów w klinikach jest jeszcze długa. Główne wyzwania to ograniczone dane treningowe z zakresu medycyny, халucynacje AI generujące nieprawdziwe informacje medyczne, oraz brak powiązania modeli z rzeczywistymi systemami klinicznymi i przepływami pracy w szpitalach.