Modele decyzyjne jako tańsza alternatywa dla ewaluacji klinicznej AI

Model decyzyjny Jev konkuruje z najdroższymi i najpowolniejszymi modelami LLM w ocenianiu jakości klinicznych odpowiedzi AI. W testach na 118 pediatrycznych odpowiedziach Jev uzyskał zgodność z ocenami lekarzy na poziomie 0.50 (skalę Gwet's AC2), dorównując lub przewyższając siedem z dwunastu porównywanych modeli LLM, w tym Claude Opus 5.5 (0.49) i GPT-6 (0.38). Na binarnych kryteriach HealthBench zgodność Jeva dorównała czterem z sześciu testowanych LLM, a w otwartych zadaniach MedHELM jego oceny były porównywalne z wewnętrzną zgodnością trójki arbitrów z LLM.

Klucz do przełomu tkwi w ekonomii. Modele decyzyjne, zaprojektowane do zwracania ustrukturyzowanych ocen w odpowiedź na konkretne pytania, kosztują 73-294 razy mniej niż frontier LLM judges, a jednocześnie działają 7-57 razy szybciej. To radykalna zmiana dla branży medycznej, gdzie automatyczna ewaluacja wyjść AI staje się coraz ważniejsza dla zapewnienia bezpieczeństwa i jakości. Na benchmarku HealthBench Professional Jev dopasował się do wzorcowego sędziego GPT-5.4 na 91% kryteriów, co stanowi wydajność porównywalną z innymi LLM.

Raport sugeruje, że specjalistyczne modele decyzyjne mogą zamiast tego stać się standardem w klinicznej ewaluacji AI. Jeśli wyniki będą replikowane na większych zbiorach danych i bardziej złożonych przypadkach medycznych, Jev i podobne systemy mogą demokratyzować dostęp do wysokiej jakości oceny AI w ośrodkach zdrowia o ograniczonych budżetach. To szczególnie ważne w krajach rozwijających się i małych placówkach medycznych, które do tej pory nie mogły sobie pozwolić na deployment zaawansowanych judge'ów opartych na LLM.