Badacze zaprezentowali ClinLens, benchmark służący do oceny zdolności agentów AI w wykonywaniu złożonych analiz danych klinicznych. System testuje modele na 200 zadaniach przeprowadzanych na pięciu połączonych zbiorach danych z MIMIC, obejmujących elektroniczne dokumentacje medyczne, notatki lekarza, zapisy EKG, rentgenogramy klatki piersiowej i echokardiogramy. To pierwsze podejście, które integruje rzeczywiste, heterogeniczne dane kliniczne w długim horyzoncie czasowym zamiast izolować pytania medyczne czy operować tylko strukturalnym tabelami.
Benchmark opiera się na taksonomii 4 na 5, łączącej cztery zakresy czasowe pacjenta z pięcioma typami analiz. Kluczowym elementem jest program-first reverse synthesis - każde zadanie ma powiązany prywatny workflow referencyjny sprawdzający nie tylko ostateczną odpowiedź, ale także artefakty pośrednie, semantykę kohorty i temporal consistency. Na zbiorze 126 zadań testowych najlepsza z 24 konfiguracji modelowo-szkieletowych osiągnęła 56,3 procenta poprawności w metryce scope-macro STRICTPASS, podczas gdy 100 procent kodów wykonało się bez błędów.
Wyniki są zaskakujące i niepokojące: osobno skonfigurowany agent kodujący rozwiązał 83 z 126 zadań, natomiast pięć systemów biomedycznych zbudowanych na bazie GPT-4o-mini osiągnęło maksymalnie 2,9 procenta poprawności. Odkrycie ujawnia krytyczną lukę w możliwościach AI - kod może być całkowicie wykonawczy i kompilować się bez błędów, ale analiza kliniczna może być całkowicie błędna. To ma duże znaczenie dla potencjalnego zastosowania AI w medycynie, gdzie poprawność jest kwestią zdrowia pacjentów.