Naukowcy zaproponowali nowy sposób generowania i oceny raportów radiologicznych z tomografii stożkowej szczękowo-twarzowej, w którym composite objective składa się z 80 procent wagi na sądzie Large Language Model dotyczącym entailmentu faktycznego i 20 procent na miary leksykalnego pokrycia. Kluczowa innowacja polega na tym, że podczas rozwoju modelu widoczna była tylko część leksykalna tego celu - pozostałe 80 procent stanowiło ukrytą metrykę.
Na zbiorze 622 przypadków system wykazał dramatyczne różnice między podejściami. Raporty wybierane wyłącznie na podstawie widocznych wskaźników leksykalnych uzyskały wynik 0.2909, natomiast raporty optymalizowane względem pełnej metryki composite osiągnęły 0.4122. Analiza pokazała, że skupienie się na podobieństwie n-gramów skutkowało spadkiem dokładności merytorycznej z 0.522 do zaledwie 0.266, co sugeruje konflikt między optymalizacją metryk leksykalnych a faktyczną poprawością kliniczną.
Model encoder o rozmiarze 29 milionów parametrów fine-tuned na tym zbiorze osiągnął wynik area under the curve 0.486 na 985 stwierdzeniach, który był nieodróżnialny od bazowego poziomu corpus prior. Natomiast proste dane liczbowe wyczytane z nagłówka obrazu (jak status pokrycia żuchwy czy wyrostków stawowych) uzyskały wyniki 0.945 i 0.872, a sama informacja o ośrodku akwizycji przewidywała wybór sformułowań w raporcie na poziomie 0.718 - wyżej niż model trenowany na rzeczywistych danych obrazowych (0.663). To odkrycie wskazuje, że tradycyjne metryki leksykalne faktycznie nagradzają raczej konwencje dyktatury i praktyki lokalnych ośrodków niż rzeczywiste zmiany anatomiczne widoczne na obrazach.