Czy do każdej decyzji klinicznej potrzebujemy największych modeli LLM?

Badacze opracowali CERTA - system statystycznych certyfikatów na poziomie decyzji, który automatycznie określa czy skwantyzowany model może bezpiecznie zastąpić referencyjny model BF16 w aplikacjach klinicznych, czy też decyzję należy przekazać do pełnoprecyzyjnej wersji. Problem, który rozwiązują, jest praktyczny: duże modele kliniczne tradycyjnie wymagają infrastruktury wielogabowych GPU, co utrudnia wdrażanie lokalnie w placówkach medycznych.

Eksperyment objął 11 modeli instrukcyjnie dostrojonych z trzech rodzin (7-72B parametrów), zarówno ogólnego przeznaczenia jak i specjalizowanych dla medycyny. Testowali 2500 decyzji weryfikacyjnych pochodzących z anonimizowanych kontekstów pacjentów z 2484 osób, z rozdzieleniem pacjentów między kalibrację a testy. Wyniki są imponujące: kwantyzacja 8-bitowa round-to-nearest obsługiwała 99,8-100% decyzji testowych na wszystkich modelach. Jeszcze bardziej optymistyczne dane dla 4-bitowej kwantyzacji - zmniejszyła koszt deploymentu do 25,8% dla Qwen2.5-72B i 27,3% dla HuatuoGPT-o1-72B, przy zużyciu pamięci poniżej 43GB, czyli mieści się na pojedynczym akceleratorze 48GB.

Znaczenie tego wyniku wybiega poza czystą optymalizację kosztów. Podejście CERTA tworzy formalny framework do asymetrycznego deploymentu modeli w ochronie zdrowia - małe, efektywne modele obsługują rutynowe decyzje, a tylko wątpliwe przypadki trafiają do pełnoprecyzyjnych wersji. To otwiera drogę do upowszechnienia zaawansowanych systemów AI w szpitalach i klinikach o ograniczonym budżecie IT, jednocześnie utrzymując wysokie standardy bezpieczeństwa i dokładności w decyzjach medycznych.