Platforma Hugging Face, popularne repozytorium modelów AI open-source, jest wykorzystywana do tworzenia nonconsent deepfake'i bez skutecznych mechanizmów ochrony. Organizacja nienastawowa AI Forensics testowała siedem z dziewięciu najczęściej używanych modeli do edycji obrazów i odkryła, że wszystkie bez trudu potrafiły generować sexualizowane fałszerstwa na podstawie prostych poleceń użytkownika. Badacze podkreślają, że żadne z testowanych narzędzi nie wymusiło uwierzytelnienia czy nie odmówiło generowania treści zakazanych na głównych platformach AI.
Główne modele generatywne od Google'a, OpenAI czy Anthropica posiadają zabudowane zabezpieczenia przed takim wykorzystaniem. Te guardrails blokują lub modyfikują żądania mające na celu seksualizację osób, szczególnie nieletnich. Tymczasem ekosystem open-source na Hugging Face operuje w dużo mniejszej ilości regulacji, pozwalając na niemal nieograniczony dostęp do potencjalnie niebezpiecznych narzędzi. Platforma nie wymaga intensywnych kontroli przed opublikowaniem modelu ani nie weryfikuje aktywnie, czy narzędzia są wykorzystywane do tworzenia materiałów wykorzystujących wizerunki bez zgody.
To odkrycie pokazuje fundamentalną napięcie w ekosystemie AI - otwarty dostęp do technologii umożliwia szybszy rozwój i innowacje, ale jednocześnie ułatwia jej złośliwe wykorzystanie. AI Forensics apeluje o wprowadzenie lepszych systemów kontroli na Hugging Face, w tym weryfikacji modeli oraz mechanizmów monitorowania ich użycia. Bez podjęcia działań bezpieczeństwo użytkowników pozostaje zagrożone, zwłaszcza że takie narzędzia mogą być wykorzystywane do tworzenia materiałów groźnych dla wizerunku i godności osób, w tym dzieci.