Naukowcy zdemonstrowali, że modele AI można stosunkowo łatwo modyfikować, aby wspierały działalność terrorystyczną i ekstremistyczną, poprzez obejście wbudowanych zabezpieczeń. Podczas eksperymentu badacz napisał, że jest terrorysta z zamiarem spowodowania masowych szkód, a chatbot bez mechanizmów ochronnych dostarczył szczegółowe instrukcje dotyczące budowy urządzenia wybuchowego IED.
Obejście systemów ochronnych okazuje się zaskakująco proste i nie wymaga zaawansowanego hackowania. Modele takie jak ChatGPT czy inne duże modele językowe posiadają guardrails - systemy przeszkód, których celem jest zapobieżenie szkodliwym odpowiedziom. Jednak badania pokazują, że te zabezpieczenia można usunąć lub obejść poprzez fine-tuning lub proste inżynieria promptów, w sposób przypominający tradycyjne ataki na systemy bezpieczeństwa.
To odkrycie rodzi poważne konsekwencje dla regulacji AI i bezpieczeństwa publicznego. Producenci modeli muszą znacznie wzmocnić swoje systemy ochronne, szczególnie zważywszy na łatwy dostęp do tych technologii. Luka ujawnia, że obecne podejście do bezpieczeństwa AI - oparte głównie na post-treningowych ograniczeniach - jest wysoce podatne na manipulacje. Eksperci wzywają do bardziej fundamentalnych zmian w architekturze modeli, które byłyby z natury bardziej odporne na takie przekierowywania.