Zespół badawczy stworzył MedRealMM - benchmark zbudowany z rzeczywistych, zanonimizowanych interakcji pacjent-lekarz z krajowej chińskiej platformy telemedycyny. To znaczący krok, bo dotychczasowe benchmarki do oceny AI w medycynie opierały się na rozmowach syntetycznych, symulatorach pacjentów lub pomijały zdjęcia medyczne przesyłane przez pacjentów. Nowy dataset nie używa też problematycznych metryk takich jak porównanie wielokrotnego wyboru czy miary leksykalne - zamiast tego ocenia odpowiedzi AI poprzez kliniczne rubrywy skonfigurowane przez lekarzy.
Dataset zawiera 5620 przypadków multimodalnych z 64 różnych specjalizacji lekarskich. Każdy przypadek został wybrany poprzez framework Multimodal Clinical Challenge Point (MCCP), który identyfikuje krytyczne momenty w autentycznych ścieżkach konsultacji - czyli miejsca wymagające wysokiej jakości klinicznej. Zespół przygotował dla każdego przypadku rubrywy oceniające odpowiedzi pod kątem bezpieczeństwa, naukowych podstaw i spójności z wcześniejszym kontekstem rozmowy.
Wartość badania polega na empirycznym wykazaniu, że modele multimodalne mają zupełnie inną wydajność niż text-only - obrazy medyczne okazały się krytyczne dla niezawodności klinicznych odpowiedzi AI. Wśród testowanych 19 modeli, zarówno universal LLM-ów jak i modeli medycznych, najlepsze rozwiązania wciąż osiągały wyniki poniżej poziomów typowych lekarzy praktykujących na platformach telemedycyny. To podkreśla, że pomimo postępów w modelach AI, rzeczywista gotowość do autonomicznej konsultacji medycznej pozostaje znacznie poniżej obecnych możliwości technologicznych.