Ocena reguł generowanych przez LLM do przewidywania chorób serca

Naukowcy porównali wydajność tradycyjnych algorytmów uczenia maszynowego z systemami opartymi na regułach generowanych przez dwa popularne modele LLM przy przewidywaniu chorób serca. Badanie, którego dane pochodzą z publicznego zbioru UCI Heart Disease, oceniało sześć klasycznych modeli - Logistic Regression, K-Nearest Neighbors, Support Vector Machine, Naive Bayes, Decision Tree i Random Forest - konkurując z regułami stworzonymi przez GPT-4o i Claude Sonnet 4.6.

Random Forest wyraźnie dominował pod względem metryki predykcyjnej, osiągając 90,2% dokładności przy recall'u równym 1,0 i F1-score'ie 0,906. Naive Bayes zajął drugie miejsce z 88,5% dokładnością. Modele oparte na regułach LLM wypadły słabiej - Claude Sonnet 4.6 uzyskał 80,3% dokładności (F1-score 0,833), zaś GPT-4o zaledwie 70,5% dokładności (F1-score 0,690). To pokazuje wyraźną lukę między metodami tradycyjnymi a LLM-generowanymi.

Alternatywą jednak jest wymiar interpretowalności. Podczas gdy klasyczne modele działają jak czarne skrzynki, reguły wygenerowane przez LLM oferują przejrzyste logiki IF-THEN, które mogą wyjaśnić proces diagnostyczny w zrozumiały dla lekarzy sposób. Badanie podkreśla fundamentalny kompromis w sztucznej inteligencji medycznej - wyższa dokładność predykcyjna versus większa przejrzystość decyzji, co ma bezpośrednie implikacje dla praktyki klinicznej i zaufania pacjentów.