Badacze odkryli, że stosowanie watermarkingu do modeli AI może paradoksalnie osłabić ich bezpieczeństwo poprzez zmianę ich zachowania wobec szkodliwych poleceń. Watermarking SynthID-Text, opracowany przez Google i planowany do wdrożenia w Claude'a przez Anthropic, działa poprzez subtelne modyfikowanie procesu wyboru kolejnego słowa w zdaniu - na przykład zmianę "cloudy" na "overcast" - pozwalając na weryfikację pochodzenia tekstu za pomocą tajnego klucza.
Problemy pojawiają się, gdy watermarking wchodzi w interakcję z mechanizmami bezpieczeństwa modelu. Badania pokazują, że znakowanie wodne może nie tylko zmienić selekcję słów, ale również wpłynąć na to, które narzędzia model wywoła oraz czy będzie przestrzegać swoich guardrails bezpieczeństwa. Szczególnie niebezpieczna sytuacja występuje w scenariuszach adversarial, gdzie atakujący próbuje zmusić model do wykonania szkodliwej akcji, takiej jak ujawnienie hasła lub wrażliwych informacji.
Dla firm opracowujących duże modele językowe i agentów AI to stanowi poważne wyzwanie. Konieczne jest gruntowne testowanie, jak zachowują się systemy z wdrożonym watermarkingiem, zwłaszcza pod ciśnieniem złośliwych poleceń. Andrea Siposova, badaczka bezpieczeństwa AI, zaznacza, że "z pewnością zmienia to zachowanie modeli, szczególnie w warunkach adversarial lub gdy te modele muszą wywoływać narzędzia w roli agenta". Wdrażanie mechanizmów zgodności z regulacjami UE wymaga zatem znacznie bardziej zaawansowanego podejścia niż dotychczasowe rozwiązania.