Naukowcy opracowali nową metodę zabezpieczania modelów text diffusion, które generują tekst poprzez stopniowe usuwanie szumu z losowych danych. Zamiast dodawania kontroli bezpieczeństwa na etapie końcowym, zespół zintegrował ograniczenia bezpośrednio w proces denojzowania - czyli w sam rdzeń algorytmu generowania. To fundamentalna zmiana podejścia, która ma zapobiegać powstawaniu szkodliwych treści na każdym etapie tworzenia tekstu, a nie tylko go filtrować na koniec.
Modele dyfuzji tekstowej zyskują na popularności jako alternatywa dla tradycyjnych architektur transformatorowych. Podobnie jak ich wizyjne odpowiedniki, pracują iteracyjnie - zaczynają od szumu i krok po kroku wychodzą do sensownego tekstu. Problem w tym, że klasyczne metody bezpieczeństwa opracowane dla autoregressywnych modeli, takich jak GPT czy LLaMA, nie sprawdzają się dobrze w tym kontekście. Denojzer świadomy bezpieczeństwa rozwiązuje ten problem poprzez osadzenie informacji o tym, co powinno być bezpieczne, bezpośrednio w mechanizmie usuwającym szum na każdym kroku generacji.
Badanie otwiera nowe perspektywy w budowaniu odpowiedzialnych systemów AI, szczególnie że modele dyfuzji stawiają przed bezpieczeństwem AI całkiem nowe wyzwania. Inne formy kontroli bezpieczeństwa trzeba będzie teraz dostosować do tego innego paradygmatu generowania, ale zaproponowane rozwiązanie pokazuje, że to jest wykonalne bez drastycznego zmniejszenia wydajności modeli.