Naukowcy prezentują MedCalc-Pro - nowy benchmark i framework do ewaluacji modeli LLM w obliczeniach medycznych złożonych scenariuszach. Standard zawiera 2268 rzeczywistych przypadków klinicznych, 77 kalkulatorów medycznych rozprowadzonych po 14 departamentach i obejmuje trzy progresywnie trudniejsze ustawienia: obliczenia jedno-, wielokalkulatorowe i zagnieżdżone.
Dotychczasowe podejścia do testowania LLM w medycynie opierały się na uproszczonych warunkach, gdzie każdy przypadek pacjenta odpowiadał jednemu kalkulatorowi, a wymagane narzędzie było jawnie określone w zapytaniu. W praktyce klinicznej scenariusze są znacznie bardziej skomplikowane - lekarze muszą wybierać spośród wielu narzędzi, wykonywać zagnieżdżone obliczenia i radzić sobie z niejasnymi zapytaniami, które nie wskazują bezpośrednio na konkretny kalkulator.
Proponowany framework agentowy wspiera wielokalkulatorową selekcję narzędzi i zagnieżdżone wywoływanie funkcji, jednocześnie tłumując propagację błędów parametrów poprzez strukturalną walidację i przegląd dowodów. Testy przeprowadzono na modelach open-source, closed-source i specjalistycznych medycznie, wykazując, że nowy framework osiąga najlepsze wyniki we wszystkich trzech kategoriach zadań.