Naukowcy opracowali nową rodzinę metryk ECUAS_n pozwalających systematycznie oceniać systemy AI, które w swoich prognozach operują niepewnością. Metryki te stanowią odpowiedź na rosnące zapotrzebowanie przemysłu na narzędzia do mierzenia nie tylko dokładności przewidywań modeli, ale przede wszystkim ich zdolności do wiarygodnego szacowania własnej pewności co do podejmowanych decyzji. To kluczowe rozróżnienie - podczas gdy dotychczasowe podejścia skupiały się głównie na tym, czy AI odpowiada prawidłowo, nowe metryki oceniają również, czy system wie, kiedy ma prawo być pewny, a kiedy powinien być ostrożny.
Dla bezpieczeństwa systemów AI to zmiana fundamentalna. Gdy model medyczny proponuje diagnozę, nie wystarczy, że będzie trafna - musi także potrafić sygnalizować, w jakiej mierze ufać jego sugestiom. Jeśli AI radzi sobie dobrze w przydzielaniu wysokich wyników pewności przypadkom, które rzeczywiście rozwiązuje poprawnie, a niskie wyniki rezerwuje dla trudnych sytuacji - wtedy praktycycy mogą zaufać tym sygnałom i np. kierować wątpliwe przypadki do człowieka. Dotychczasowe metryki ewaluacji takie jak dokładność czy auroc nie mówią nic o tym, czy model nauczył się być realistycznie pewny siebie. System może osiągać wysoką dokładność, ale jednocześnie być nadmiernie pewny lub zbyt pesymistyczny.
Standaryzowana evaluacja za pomocą ECUAS_n może przyczynić się do bardziej niezawodnych i przejrzystych systemów sztucznej inteligencji, szczególnie w wysokiej stawki aplikacjach. Wprowadzenie ujednoliconych metryk to także szansa na porównywanie różnych architektur i podejść treningowych w równych warunkach, a ostatecznie na budowanie bardziej odpowiedzialnej AI, która potrafi zarówno dobrze pracować, jak i szczerze komunikować granice swoich możliwości.