Międzynarodowy zespół badaczy opracował metodę znacznie poprawiającą bezpieczeństwo dużych modeli języka poprzez zrozumienie, jak dokładnie działają wewnętrzne mechanizmy odpowiadające za odmowę generowania niebezpiecznych treści. Naukowcy odkryli, że bezpieczeństwo LLM-ów jest organizowane wokół tzw. safety circuit - wielopoziomowego obwodu złożonego z trzech kluczowych elementów pracujących sekwencyjnie.
Pierwszym ogniwem są Harmful Detection Heads - specjalizowane głowy atencji, które rozpoznają szkodliwe zamieszki w danych wejściowych. Te głowy sygnalizują potencjalne zagrożenie, przekazując informację dalej w modelu. Drugi etap obejmuje Safety Neurons - neurony działające w residual stream, które wzmacniają i stabilizują sygnały bezpieczeństwa. Wreszcie Refusal Heads konwertują te sygnały w rzeczywiste generowanie bezpiecznych odpowiedzi. Zespół potwierdził, że ta struktura pojawia się konsekwentnie w różnych architekturach LLM-ów i przy różnych typach ataków adversaryjnych.
Najpraktyczniejszym wynikiem badania jest odkrycie, że proste skalowanie wag w konkretnych neuronach - bez modyfikacji całej architektury - może znacznie wzmocnić obrony modelu. Testując tę metodę na sześciu różnych LLM-ach, naukowcy zaobserwowali wzrost wskaźnika bezpieczeństwa pod atakami o 26,5 procent, przy jednocześnie minimalnym spadku dokładności (1,7 procent) na standardowych benchmarkach. To sugeruje, że rozumienie wewnętrznych mechanizmów bezpieczeństwa może prowadzić do praktycznych i efektywnych sposobów ochrony przed adversaryjnym promptingiem.