Naukowcy z arXiv opublikowali M³, nową metodę automatycznego testowania bezpieczeństwa LLM opartą na formalizmie procesów decyzyjnych Markowa. System definiuje ataki wieloturowe jako sekwencję decyzji w skończonym horyzoncie czasowym, gdzie model atakujący wchodzi w interakcję z modelem docelowym, wykorzystując kompaktowy wewnętrzny stan generowany przez trzeci model. Podejście to pozwala na systematyczne i skalowalne testowanie podatności bezpieczeństwa.
Badania wykazały znaczną przewagę M³ nad dotychczasowymi metodami red-teamingowe. Na dwóch benchmarkach i sześciu różnych modelach docelowych system osiągnął wzrost wskaźnika sukcesu ataku do 53 procent w kategorii ASR@5, czyli liczby atakujących modeli potrzebnych do pięciu prób. Imponujące jest, że nawet z lekkimi modelami atakującymi M³ uzyskał przychody do 26 procent w ASR@1 i 34 procent w ASR@5, przewyższając baseline'e oparte na większych modelach.
Metoda wyróżnia się nie tylko wyższą skutecznością, ale również lepszą ścieżką eskalacji ryzyka w kolejnych turach rozmowy oraz bardziej spójnymi wynikami między kategoriami zagrożeń. Osiągnięto poprawę wskaźnika Giniego do 4,82 bez polegania na wstępnie zdefiniowanej taksonomii ryzyka. To podejście stanowi znaczący krok naprzód w zrozumieniu i ocenie bezpieczeństwa współczesnych dużych modeli językowych, szczególnie wobec zagrożeń powstających z zaawansowanych, wieloetapowych ataków konwersacyjnych.