Zespół badaczy stworzył PathReportEval - pierwszy systematyczny benchmark dla generowania raportów patologicznych na podstawie obrazów WSI (whole-slide images). Problem, który rozwiązuje, jest fundamentalny: choć generowanie raportów patologicznych z obrazów medycznych to szybko rozwijająca się dziedzina, brak standaryzacji sprawia, że trudno porównywać postęp między badaniami. Każdy zespół używa innych datasetów, modeli, koderów wizualnych i metryk ewaluacji.
Framework PathReportEval standaryzuje cały pipeline - preprocessing, ekstrakcję cech, trenowanie, dekodowanie i ewaluację. Benchmark testuje cztery reprezentatywne metody na trzech datasetach (TCGA, HistAI, REG 2025) przy użyciu trzech koderów pathologicznych (CONCHv1.5, UNI2-h, H-Optimus-1). Najważniejszym wkładem jest nowa metryka Clinical Report Quality Score (CRQS), która ocenia faktyczną poprawność raportów na podstawie cech klinicznych. CRQS mierzy cztery wymiary: pokrycie faktów klinicznych, recall kluczowych informacji, stopień hallucynacji i rozbieżności diagnostyczne.
To jest znaczące, ponieważ istniejące metryki NLG jak BLEU czy ROUGE skupiają się głównie na podobieństwie leksykalnym i regularnie nie wykrywają klinicznych błędów - takich jak pominięte diagnozy, zmyślone ustalenia czy błędne opisy cechy guza. Utworzenie standaryzowanego benchmarku z metryką wrażliwą na błędy kliniczne powinno przyspieszać rozwój lepszych modeli dla tego krytycznego zastosowania medycznego.