Naukowcy opracowali NHANES Accelerometry Cardiometabolic Benchmark - nowy dataset z rzeczywistymi danymi medycznymi, który ma na celu lepsze testowanie algorytmów machine learning w praktyce klinicznej. Benchmark obejmuje 1381 dorosłych ze spotkania z lat 2003-2006, z których każdy ma pełne dane akcelerometru na biodrach, wyniki badań laboratoryjnych (w tym hemoglobinę glikanową HbA1c, trójglicerydy i białko C-reaktywne), ocenę diety i pomiary antropometryczne.
Badacze porównali trzy podejścia - ridge regression, XGBoost i foundation model TabPFN v2 - do przewidywania tych trzech biomarkerów kardiometabolicznych. TabPFN v2 okazał się zwycięzcą z wynikami R² równymi 0,156 dla HbA1c i 0,383 dla CRP, co jest godne uwagi biorąc pod uwagę złożoność danych. Jednak trójglicerydy pozostały praktycznie nieprzewidywalne (R² poniżej 0,05), co potwierdza znaną dominację czynników genetycznych w ich regulacji. Zespół zastosował split conformal prediction, aby wygenerować przedziały ufności na poziomie 90 procent bez założeń o rozkładzie danych.
Kluczowe odkrycie dotyczy sprawiedliwości demograficznej - podczas gdy ogólna dokładność pokrycia osiągnęła cel 90 procent dla HbA1c i CRP, pojawiły się znaczące braki dla określonych podgrup. Na przykład dla uczestników meksykańsko-amerykańskich dokładność HbA1c spadła poniżej oczekiwanego poziomu. To zjawisko ilustruje grę między gwarancjami marginalnymi (globalnymi) a wymogami conditional coverage (warunkowymi) wymaganymi dla klinicznej sprawiedliwości. Kod i dane zostały udostępnione na Githubie, co wspiera otwartą naukę i mogą posłużyć jako zaplecze dla przyszłych badań nad fairnessem algorytmów medycznych.