Kanadyjski regulator opieki zdrowotnej odkrył, że AI asystent do notatek lekarskich systematycznie zmyśla dokumentację medyczną pacjentów. Badanie wykazało, że system generuje fikcyjne objawy, wymyślone wyniki testów i fałszywe notatki, które trafiają bezpośrednio do dokumentacji pacjentów i mogą wpłynąć na podejmowane decyzje medyczne. To zjawisko, znane w branży AI jako hallucynacja, okazało się być szczególnie niebezpiecznym w kontekście opieki zdrowotnej, gdzie każda fałszywa informacja może mieć poważne konsekwencje dla zdrowia i bezpieczeństwa pacjentów.
Problem ujawniony w audycie to efekt szerszego trendu w polskim i światowym systemie zdrowotnym - wdrażania rozwiązań AI bez wystarczającego testowania i nadzoru. Szpitale i przychodnie chętnie inwestują w tego typu narzędzia, przyciągane obietnicą automatyzacji pracy lekarzy i poprawy efektywności. Jednak audyt pokazuje, że zaufanie do takich systemów bez ścisłych procedur weryfikacyjnych to nie oszczędność czasu, ale potencjalnie śmiertelne zagrożenie. Sytuacja przypomina nam, że AI w medycynie nie może pracować niezależnie ani bez ludzkiej kontroli.
Odkrycie stawia również pytania o odpowiedzialność producentów i instytucji medycznych, które decydują się na wdrożenie takich rozwiązań. Regulatorzy i stanowiący prawo muszą teraz wzmocnić wymogi dotyczące certyfikacji i testowania AI w sektorze zdrowotnym, zanim tego typu systemy trafią do praktyki klinicznej. To pierwszy sygnał, że nie każdy model AI, nawet zaawansowany, jest gotów do aplikacji, gdzie stawką jest życie i zdrowie ludzi.