Naukowcy stworzyli nowy system do wyłapywania niebezpiecznych sprzeczności w agentach AI udzielających porad zdrowotnych. Zamiast pozwalać chatbotom rozdawać porady bez kontroli, badacze opracowali architekturę z dual-stream memory - mechanizmem, który jednocześnie śledzi wiedzę medyczną oraz historię pacjenta i natychmiast reaguje, gdy AI zacznie sugerować coś sprzecznego z tymi informacjami. To rozwiązanie zajmuje się poważnym problemem: agentami AI, które udzielają porad mogących zaszkodzić zdrowiu użytkownika, albo przez zapomnienie poprzednich rekomendacji, albo przez ignorowanie podstawowych faktów medycznych.
Problem jest aktualne ze względu na wzrost zainteresowania prywatnymi asystentami zdrowotnym i coachami AI, którzy mają wspierać pacjentów w zarządzaniu chorobami i zmianie nawyków. Dotychczas brakło skutecznych metod zabezpieczenia takich systemów przed udzielaniem sprzecznych porad - agent mógł w poniedziałek zasugerować unikanie produktów mlecznych ze względu na alergię, a w czwartek zapomnieć o tym i polecić mleczny jogurt. Nowa architektura z mechanizmem rekoncyliacji zmienia to podejście, systematycznie porównując każdą nową rekomendację z całym bagażem wiedzy o konkretnym pacjencie.
Bezpieczeństwo AI w ochronie zdrowia to jeden z kluczowych wyzwań branży, bo błędy mogą mieć realne konsekwencje dla zdrowia użytkowników. Przedstawione rozwiązanie nie rozwiązuje oczywiście wszystkich problemów - nie zastępuje diagnozy lekarza czy rzeczywistej konsultacji - ale znacznie ogranicza ryzyko głupich pomyłek, które mogłyby podważyć zaufanie pacjentów do cyfrowych asystentów. To krok w kierunku bardziej wiarygodnych i bezpiecznych narzędzi AI w medycynie.