Badacze z arXiv dostarczyli pierwszego mechanistycznego wyjaśnienia, dlaczego format pytań wielokrotnego wyboru (MCQ) zmniejsza zdolność modeli AI do odmowy odpowiadania na niebezpieczne pytania. Testując Llama-3.1-8B i Qwen3-8B na zbiorze danych WMDP, odkryli, że modele szybko zobowiązują się do wyboru konkretnej litery odpowiedzi zamiast stopniowo budować mechanizm odmowy, który obserwuje się w formatach otwartych.
Za pomocą techniki tuned lens naukowcy pokazali, że przy MCQ model bardzo szybko przetwarza token litery odpowiedzi. Jednocześnie zaobserwowali, że aktywacje mózgu modelu przy formacie MCQ leżą około 3 razy dalej od kierunku związanego z odmową w porównaniu z formatami otwartymi. To fundamentalna różnica - jakby model wcześnie "decydował się" na odpowiedź zamiast najpierw rozważać, czy powinien w ogóle odpowiedzieć.
Najwaniejsze znalezisko dotyczy głów atencji: usunięcie tych, które przetwarzają format MCQ i wybór odpowiedzi, znacznie zwiększa współczynnik odmowy. To bezpośredni dowód, że proces wyboru litery odpowiedzi konkuruje z mechanizmami bezpieczeństwa modelu. Implikacja jest poważna - znaczy to, że popularne benchmarki bezpieczeństwa stosujące format MCQ mogą być całkowicie myląco optymistyczne. Zamiast oceniać rzeczywistą bezpieczeństwo modelu, mierzą głównie jego zdolność do znajdowania prawidłowej odpowiedzi, a nie jego chęć i zdolność do odmowy wobec niebezpiecznych żądań.