Zespół badawczy przeprowadził kompleksowy audit 25 specjalizowanych biomedycznych modeli języka, porównując je z ich bazowymi wersjami na dwóch benchmark'ach - MedAbstain i ClinDet-Bench. Odkryto, że fine-tuning prowadzi do znacznego spadku prawidłowej abstencji, czyli zdolności modelu do przyznania się do braku wiedzy zamiast udzielania niepewnej odpowiedzi.
Ta obserwacja jest szczególnie alarmująca dla dziedziny medycyny, gdzie ryzyko halucynacji lub błędnego zgadywania może mieć bezpośrednie skutki zdrowotne. Model, który mówi "nie wiem" w odpowiednim momencie, jest bardziej wiarygodny niż model, który confidently udziela potencjalnie błędnej odpowiedzi. Wcześniejsze badania pokazywały, że guardrails mogą się zacierać podczas fine-tuningu, ale ta praca, w odróżnieniu od poprzednich studiów fokusujących się na refusal value-centric, skupia się na knowledge-centric abstention - czystym braku wiedzy, a nie etycznych odmowach.
Wyniki są zróżnicowane między modelami, co sugeruje, że problem nie jest uniwersalny ale zależy od konkretnej architektury, mieszanki danych treningowych i metodologii fine-tuningu. Badania motywują opracowanie nowych podejść do adaptacji modeli do specjalistycznych domen, które byłyby w stanie zachować zarówno wysoką wydajność w zadaniach biomedycznych, jak i zdolność do przyznania się do ograniczeń wiedzy.