Fernando Ibarrola udostępnił raport z eksperymenty, w którym uczestniczyło 2 tys. osób próbujących zhakować jego asystenta AI. Eksperyment stał się punktem zapalnym dyskusji w społeczności technologicznej, zwłaszcza na Hacker News, gdzie zebrał 153 punkty i wygenerował 53 komentarze od entuzjastów i profesjonalistów zajmujących się bezpieczeństwem AI.
Taki typ testu bezpieczeństwa jest niezwykle ważny dla zrozumienia rzeczywistych vulnerabilities systemów AI. Zamiast izolowanych testów laboratoryjnych, autor zaproponował crowd-sourcing ataku, co pozwoliło na odkrycie wielu nieoczywistych metod obejścia systemu. Obserwacja 2 tys. użytkowników próbujących manipulować asystentem poskytuje naturalną odpowiedź na pytanie: co się dzieje, gdy modele AI spotykają się z motywowaną grupą osób chcących je złamać.
Wyniki takiego eksperymentu mają znaczenie dla całej branży. Pokazują luki w bezpieczeństwie, które mogą być wykorzystane w rzeczywistych scenariuszach, i dostarczają informacji zwrotnej dla twórców systemów o tym, gdzie skupić wysiłki na hardening odpowiedzi AI. Dodatkowo, publiczne udostępnienie wyników przyczynia się do ogólnej świadomości społeczności o tym, jak łatwo mogą być zaatakowane systemy AI, jeśli nie będą odpowiednio chronione.