Duże modele języka mają znaczące problemy z arytmetyką, co stanowi poważny problem w aplikacjach medycznych, gdzie nawet jedna błędna liczba w kalkulatorze klinicznym może zmienić rekomendację leczenia. Zamiast tradycyjnego podejścia polegającego na hardcodowaniu każdego kalkulatora jako zwalidowanej funkcji, zespół badawczy zaproponował inną strategię: model nie wykonuje obliczeń, lecz generuje specjalistyczny kod Python dla danego przypadku, który uruchamiany jest jako deterministyczny solver w ograniczonym środowisku. Model skupia się wyłącznie na decyzji, jak wykorzystać to narzędzie.
Ewaluacja Program-Solve interface przeprowadzona na benchmarku MedCalc-Bench Verified obejmowała 1100 przypadków klinicznych i 55 kalkulatorów. Testy wykonano na modelach Qwen2.5-7B i Qwen2.5-32B-AWQ. Badacze wcześniej sprawdzili wszystkie formuły benchmarku pod kątem zgodności z obecnymi wytycznymi klinicznymi i zidentyfikowali 16 z 55 kalkulatorów z problemami wersji, zastosowania lub współczynników. Wyniki pokazały, że dla mniejszego modelu 7B użycie solvera nie dało jednoznacznej przewagi - 75,31% dokładności w porównaniu z 72,02% dla bezpośrednich obliczeń. Natomiast dla Qwen2.5-32B widać wyraźną korzyść: 90,53% dokładności wobec 83,47% dla metody bezpośredniej.
Wnioski wskazują, że dodanie wyspecjalizowanego executora przynosi różne rezultaty dla różnych modeli, nawet gdy mają dostęp do tych samych formuł, zmiennych i całej dokumentacji pacjenta. Podejście nie zastępuje w pełni zwalidowanych formuł ani niezawodnej ekstrakcji zmiennych, ale może być wartościowym komponentem systemów klinicznych, szczególnie w połączeniu z innymi mechanizmami zapewniającymi dokładność. To otwarcie ważne dla dalszego rozwoju niezawodnych asystentów AI w medycynie.