Zespół badawczy opublikował ocenę MedJev - modelu System One, który podejmuje decyzje medyczne bez generowania tekstu, działając efektywnie na standardowym laptopie. W przeciwieństwie do dużych modeli języka wymagających kosztownych obliczeniowych zasobów, MedJev przetwarza zapytania w pojedynczym przejściu przez sieć neuronową, co czyni go praktycznym narzędziem dla rzeczywistych środowisk klinicznych.
Model testowano na dziesięciu medycznych benchmarkach, uzyskując imponujące wyniki w pytaniach egzaminacyjnych: 72,5 procent na MedQA, 75,4 procent na USMLE i 80,1 procent na NEJM. Te rezultaty zbliżają się do opublikowanych wyników GPT-4, a jednocześnie MedJev wykazuje dobrze skalibrowane oszacowania pewności swoich odpowiedzi. Na zadaniach predykcji pacjentów osiągnął AUROC 0,926 dla śmiertelności szpitalnej w trakcie hospitalizacji, przewyższając klasyczny model XGBoost z wynikiem 0,902.
Klucz do praktycznego wdrożenia znaleźli autorzy w lekkiej metodzie rekalibracji wymagającej zaledwie dwóch parametrów. Wykorzystując 50-200 etykietowanych przykładów z lokalnej populacji pacjentów, model można dostosować do specyficznych warunków szpitala, zmniejszając błędy kalibracji z 0,286 do zaledwie 0,007. To oznacza, że System One może być szybko adaptowany do nowych ośrodków medycznych bez kosztownego ponownego trenowania. Wyniki sugerują, że takie modele stanowią obiecujący kierunek dla zdecentralizowanego wsparcia decyzji medycznych, łącząc konkurencyjną wydajność przewidywania z niskimi wymaganiami obliczeniowymi.