OpenAI opublikował szczegóły GPT-Red, wewnętrznego modelu do automatycznego red-teamingu, który znacznie przewyższa ludzi w identyfikacji podatności prompt injection. Wyniki pokazują, że model uzyskał wskaźnik sukcesu 84 procent w porównaniu do 13 procent dla człowieka. GPT-Red powstał z konkretnego powodu - człowieczy red-teaming jest czasochłonny i nie skaluje się efektywnie, a standardowe testy robustności nie wychwytują już nowych wyzwań zaproponowanych przez najnowsze modele OpenAI.
Model działa podobnie do ludzkiego red-teamra. Wysyła prompt, obserwuje odpowiedź i iteracyjnie pracuje nad osiągnięciem celu ataku. Trenowanie przebiega za pomocą samogrywającego się reinforcement learningu, gdzie agent atakujący współpracuje z zróżnicowaną kolekcją modelów obrony. OpenAI przydzielił do tego zadania compute scale porównywalny z największymi post-trainingowymi przebiegami, co podkreśla znaczenie bezpieczeństwa. Kluczowe jest, że GPT-Red pozostaje oddzielony od wdrażanych modeli, co chroni przed ujawnieniem złośliwych zdolności potencjalnym atakującym.
Poblema jest realna - gdy agenty mają dostęp do danych trzecich stron przez przeglądarki, połączone aplikacje, pliki lokalne i narzędzia, atakujący mogą wsadzić spreparowane instrukcje w te dane. Dlatego GPT-Red pełni dwie funkcje: odkrywa podatności przed wdrożeniem i generuje ataki podczas treningu, stanowiąc żywy system obrony zamiast statycznego benchmarku.