Duże modele językowe coraz częściej generują podsumowania badań klinicznych dla różnych odbiorców medycznych, ale ich tendencja do halucynacji stanowi poważne zagrożenie w tak krytycznym kontekście. Naukowcy stworzyli framework benchmarkingowy do mierzenia wierności tych podsumowań, testując najnowsze modele na zbiorze 200 badań ze stron klinicznych.gov i oceniając 1800 wygenerowanych podsumowań przy użyciu specjalnych schematów oceny wierności.
Badania wykazały, że wszystkie trzy testowane modele - GPT-4o, Claude Sonnet 4.6 i Gemini 2.5 Flash - mają podobny problem: generują nieuzasadnione roszczenia o średniej ocenie zaledwie 1,55 na trzy możliwe. Zespół opracował system rozszerzony o grafy wiedzy, który znacząco poprawił rezultaty. Wskaźniki wierności wzrosły statystycznie istotnie (p < 0,0001), choć każdy model poprawiał się poprzez inne mechanizmy - GPT-4o głównie przez zmniejszenie sprzeczności, podczas gdy Claude i Gemini poprzez zwiększenie zgodności z faktami.
Wyniki sugerują że zanim LLM będą mogły niezawodnie podsumowywać wyniki badań dla świata medycyny, potrzeba dalszych ulepszeń. Problem halucynacji jest szczególnie niebezpieczny w medycynie, gdzie błędy mogą wpłynąć na decyzje lekarzy, pacjentów i płatników dotyczące leczenia. Framework stanowi pierwsze systematyczne podejście do mierzenia i naprawy tego problemu dla różnych grup odbiorców.