W tym tygodniu wyszły na jaw dwa przypadki, które kwestionują obietnice medycznego AI. W Nowym Jorku pielęgniarki zgłaszają, że oprogramowanie zastąpiło ich stanowiska zamiast wspierać ich pracę, a w Minnesota były lider Mayo Clinic ujawnia, że podobne systemy nie są bezpieczne do zaufania. Historia Marilyn Shuler, która przez 39 lat czytała obrazy medyczne, symbolizuje szerszą tendencję automatyzacji zatrudnienia w opiece zdrowotnej.
Producenci medycznego AI tradycyjnie pozycjonują swoje rozwiązania jako narzędzia uwolniające klinicystów od rutynowych zadań, by mogli skupić się na bezpośredniej opiece nad pacjentami. Jednak rzeczywistość okazuje się bardziej skomplikowana. Zamiast wspierania personelu, systemy często całkowicie go zastępują, generując oszczędności finansowe dla placówek medycznych kosztem miejsc pracy. Jednocześnie zgłaszane są problemy z pominięciem lub obejściem niezbędnych kontroli bezpieczeństwa tych algorytmów.
Sprawy ujawnione w tym tygodniu podkreślają urgentną potrzebę lepszych standardów etycznych i walidacyjnych dla medycznego AI. Brak nadzoru może prowadzić do sytuacji, gdzie systemy niewystarczająco przetestowane zastępują doświadczonych profesjonalistów, potencjalnie zagrażając bezpieczeństwu pacjentów. To wezwanie do sektora, by przedłożył bezpieczeństwo i etykę nad presję finansową wdrażania technologii.