Naukowcy zidentyfikowali nową kategorię ataków backdoor, które mogą zainfekować systemy dialogowe oparte na LLM poprzez trujące dane treningowe, pozwalając napastnikom sterować całym przebiegiem rozmowy po aktywacji trigger'a. W odróżnieniu od tradycyjnych backdoorów, które wyzwalają pojedynczą odpowiedź, ten atak ramowy działa wieloturnowo i może bez widocznej ingerencji nakierowywać konwersacje w kierunku wybranym przez atakującego.
Badacze zdefiniowali trzy warianty ataku o rosnącej złożoności. Pierwszy, Direct Attack, powoduje natychmiastowe odchylenie odpowiedzi zaraz po aktywacji triggera. Drugi, Constrained Progressive Attack, stopniowo posuwają cel ataku wzdłuż predefiniowanej trajektorii wieloturnowej. Trzeci, Unconstrained Progressive Attack, rozszerza sterowanie na otwarte interakcje o zmiennym przebiegu - system powinien osiągać cel niezależnie od tego, co będzie mówić użytkownik. Taka podatność pojawia się, ponieważ fine-tuning modeli na zewnętrznie dostarczonych danych dialogowych wprowadza "zmianę nastawienia" ukrytą w parametrach sieci.
Eksperymenty przeprowadzone na dwóch różnych backbonach LLM i dwóch zbiorach danych dialogowych, wykorzystując poradnictwo psychologiczne jako scenariusz testowy, wykazały, że wszystkie trzy ataki skutecznie osiągają swoje cele w odpowiednich ustawieniach interakcji. To badanie podkreśla znaczące ryzyko bezpieczeństwa dla każdego systemu dialogowego, który jest fine-tunowany na danych pochodzących z niezaufanych źródeł.