Naukowcy z arXiv testowali zdolność modelu GPT-4.1-nano do diagnozowania zaburzeń poznawczych typu Alzheimera versus depresji poprzez 135 prób klinicznych opartych na 45 wygenerowanych scenariuszach. Każdy scenariusz wariował siłę dowodów, informacje konfliktowe i brakujące dane, prezentowany pod trzema wariantami promptów. Model osiągnął dokładność 93,5% i średnią pewność 78,4%, z wynikiem AUROC2 na poziomie 0,876 - wskaźnikami sugerującymi rzeczywistą metacognitive sensitivity.
Klucz do badania leżał w obserwacji, że pewność modelu rosła wraz z dystansem dowodów od granicy diagnostycznej, spadała przy brakujących informacjach i pozostawała wyższa w prawidłowych odpowiedziach niż w błędach po kalibracji zmiennych. To oznacza, że model nie jest całkowicie bezrefleksyjny w swojej pewności - dostrajił ją w stosunku do jakości danych. Jednak błędy skupiały się w umiarkowanych, konfliktowych przypadkach typu Alzheimera, gdzie model przesuwał się ku depresji i utrzymywał większą pewność niż uzasadniałaby empiryczna dokładność.
Wniosek badaczy jest praktycznie ważny: zamiast wnioskować jakość confidence z samych benchmarków, należy mierzyć ją bezpośrednio. To krytyczne dla medycyny, gdzie falive overconfidence w warunkach diagnostycznych niepewności może prowadzić do błędnych decyzji klinicznych. Badanie wskazuje, że LLM-y mają pewne wbudowane mechanizmy samooceny, ale wymagają one szczególnej czujności w sytuacjach brzegowych.