Naukowcy z arXiv zaprezentowali RL-ATTACK - nową metodę atakowania modeli językowych w ustawieniach black-box, gdzie tradycyjne podejścia oparte na gradientach nie mogą być stosowane. Zamiast zgadywać transformacje adwersarialne, system uczy się od samego modelu docelowego, jak generować perturbacje, które powodują niepożądane odpowiedzi.
Istniejące metody atakowania w scenariuszach black-box polegają głównie na zewnętrznej wiedzy i heurystyce, co czyni je mało efektywne. RL-ATTACK rozwiązuje ten problem, trenując politykę poprzez reinforcement learning, która adaptuje się do konkretnego modelu. Na zadaniach wnioskowania w języku naturalnym metoda uzyskuje zdumiewające wyniki - redukując dokładność do zaledwie 2% w ciągu 20 zapytań. Jednocześnie lepiej zachowuje semantykę tekstu i wymaga mniej zapytań niż podejścia bazujące na optymalizacji.
Badania potwierdzają, że nauczony atak konsekwentnie przewyższa ataki bez treningu i wygrywa w 4 z 6 scenariuszy w porównaniu z silnymi liniami bazowymi. Autorzy eksperymentowali również z różnymi konstrukcjami funkcji nagrody i ustawieniami treningowymi, odkrywając że żaden z nich nie jest konsekwentnie dominujący. Kod projektu dostępny jest publicznie, co otwiera możliwości dalszych badań nad bezpieczeństwem modeli językowych.