Badacze zmagają się z fundamentalnym problemem w medycynie: niektóre wyniki kliniczne są nieobserwowalne, ponieważ zabiegi medyczne uniemożliwiają zaobserwowanie naturalnego przebiegu choroby. W badaniu dotyczącym prognostyki neurologicznej po zatrzymaniu krążenia naukowcy pracowali z 2497 pacjentami, z czego 1429 miało niepewne wyniki z powodu podjętych decyzji leczniczych. Dla tych trudnych przypadków niezależni eksperci kliniczni ocenili, co prawdopodobnie by się stało bez leczenia - dostarczając tak zwane etykiety hipotetyczne.
Zamiast ignorować te niepewne przypadki, zespół opracował framework oceny, który jawnie rozróżnia pacjentów z pewnymi obserwowanymi wynikami od tych z etykietami hipotetycznymi. Proponują też model predykcyjny, który może korzystać zarówno z pewnych, jak i niepewnych danych, pozwalając na wymianę kompromisów między nimi. To podejście jest ważne, bo pokazuje że tradycyjne metryki takie jak AUROC mogą być mylące - dwa modele z identycznym AUROC mogą się drastycznie różnić w szacowaniu prawdopodobieństwa dla niepewnych przypadków.
Badanie pokazuje realne wyzwania w tworzeniu modeli medycznych, gdzie idealne dane są niemożliwe do uzyskania. Zaproponowana metodologia mogłaby być zastosowana w innych obszarach klinicznych, gdzie leczenie pacjentów utrudnia obserwację naturalnych wyników choroby, potencjalnie poprawiając jakość prognostyk w praktyce klinicznej.