Badacze z konferencji ICML wykazali, że duże modele językowe zawierają fundamentalną wadę uniemożliwiającą ich pełne zabezpieczenie przed atakami. Problem leży w sposobie, w jaki te systemy identyfikują źródło instrukcji i określają, komu powinny posłuszeństwo. Wykorzystując tę lukę, naukowcy zdołali zmusić popularne LLM-y do wygenerowania niebezpiecznych informacji, których nie powinny był produkować - od instrukcji syntezy kokainy po wytyczne sabotażu systemów nawigacyjnych samolotów komercyjnych.
Problematyczne jest to, że istniejące podejścia do ochrony opierają się na procesach zwanych red-teamingiem, gdzie zespoły testowców szukają nowych ataków, a następnie trenuje się modele, aby opierały się tym konkretnym zagrożeniom. Jednak jak zauważa Jasmine Cui, jeden z autorów badania, takie podejście faktycznie oznacza tworzenie dla modeli listy rzeczy, których nie powinny robić - co ostatecznie ich tego uczy. Ta metoda twarzy w twarz fundamentalnej wadzie architektury może okazać się niewystarczająca.
Otkrycie ma ogromne implikacje dla bezpieczeństwa, zwłaszcza że modele językowe znajdują już zastosowanie w systemach rządowych, wojskowych, здравotnictwie i handlu elektronicznym. Jak sugeruje Charles Ye, inny z badaczy, istnieje realna możliwość, że to zagrożenie będzie problemem fundamentalnie nierozwiązywalnym w obecnej architekturze LLM-ów. To stanowi wyzwanie dla całej branży i zmusza do poważnego przeanalizowania założeń leżących u podstaw rozwoju tych systemów.