Badacze zbudowali specjalistyczny benchmark oceniający zdolność dziewięciu czołowych modeli językowyc - czterech zamkniętych (m.in. GPT-5.5, Gemini 3.1 Pro Preview) i pięciu otwartych rodzin - do podejmowania decyzji onkologicznych. Benchmark zawierał 2005 punktów decyzyjnych pochodzących z wytycznych NCCN oraz rzeczywistych przypadków raka jelita grubego. Skalę błędów klasyfikowano automatycznie do 14 kategorii i walidowano przez dwóch onkologów z bardzo wysoką zgodnością (Cohen's kappa 0,939 i 0,790).
Wyniki były zaskakujące: gdy potraktować wszystkie modele jako jeden super-model, 42,1% wszystkich zadań (95% CI 40,0-44,3%) nie zostało rozwiązane poprawnie przez żaden system. Jeszcze gorzej wyglądała sytuacja w bardziej złożonych przypadkach raka jelita grubego - tu odsetek porażek wzrósł do 66,4%. Kluczowe odkrycie: większość błędów concentrate się w pierwszym kroku decyzji, czyli wyborze między alternatywnymi ścieżkami leczenia z wytycznych, zanim modele w ogóle zaczęły rozumować szczegółowo. To sugeruje systematyczną ślepotę w meta-ocenie klinicznej - problem głębszy niż brak wiedzy.
Badanie podkreśla fundamentalne ograniczenie obecnych LLM-ów w medycynie klinicznej. Okazało się także, że modele strojone do większej decyzyjności (GPT-5.5, Gemini 3.1 Pro Preview) trzy do pięciu razy częściej podejmowały niebezpieczne zobowiązania niż modele ostrożne. Wynika z tego, że łączenie modeli lub zwiększanie zestawów treningowych nie rozwiąże tego problemu - potrzebna jest zmiana na poziomie architektury systemów AI.