Naukowcy zbadali czołowe modele edycji obrazów dostępne na platformie Hugging Face i ustalili, że mogą być wykorzystywane do łatwego tworzenia eksplicytnych deepfake'ów. Ich testy wykazały, że nawet modele z zabezpieczeniami może obejść prosty sposób formułowania zapytań, umożliwiając ludziom generowanie pornograficznych wizerunków bez zgody osób przedstawionych.
Wyciek około tysiąca promptów użytkowanych w rzeczywistości pokazał skalę problemu - ludzie aktywnie eksploatują te narzędzia do tworzenia niechcianych treści intymnych, które mogą być wykorzystywane do szantażu, molestowania lub upubliczniania bez zgody. Hugging Face, uchodzące za odpowiedzialnego aktora w ekosystemie AI, na razie oferuje jedynie ograniczone bariery chroniące przed takim nadużyciem modeli udostępnianych na platformie.
Wykrycie tego problemu zwraca uwagę na rozbieżność między zamiarem bezpiecznego podzielania się modelami AI a rzeczywistością ich wykorzystania. Chociaż odblokowanie deepfake'ów pornograficznych jest teoretycznie zabronione w regulaminach, egzekwowanie tych zasad na skalę tysięcy modeli okazuje się praktycznie niemożliwe. Sytuacja zwiększa presję na platformę, by wprowadzić bardziej zaawansowane filtry, wymóg weryfikacji tożsamości lub inne mechanizmy ochrony przed zagrożeniami dla ofiar tego rodzaju treści.